tutoriali vezani za LinuxOS, vesti iz sveta slobodnog softwera, podesavanja hardwera i softwera i jos mnogo toga
Kako napraviti robots.txt fajl?
tutoriali | 13 Jun, 2008 08:21
Ako na vašem sajtu ne postoji robots.txt fajl ovaj članak će vam pokazati kako da ga napravite.
Šta je robots.txt fajl?
Fajl robots.txt je običan tekstualni fajl koji se smešta u rot direktorijum sajta.
Kada crawler web pretraživača poseti vaš sajt, on prvo treaži jedan poseban fajl. Taj fajl nosi naziv robots.txt a njegova je namena da spajderu web pretraživača kaže koje strane vašeg sajta treba da budu indeksirane a koje treba da ignoriše.
Kako se kreira fajl robots.txt?
Kao što je predhodno pomenuto robots.txt je običan tekstualni fajl. Za njegovo kreiranje možete koristiti bilo koji teks editor.
Sadržaj robots.txt fajla čine tzv. zapisi (records).
Zapis sadrži informacije bitne za pretraživače. Svaki zapis čine dva polja:
User agent linija
i
Disallow linija
Evo primera:
User-agent: googlebot
Disallow: /cgi-bin/
Fajl robots.txt će omogućiti pristup Google-ovom spajderu da indeksira sve stranice sajta osim fajlova u okviru "cgi-bin" direktorijuma. Svi fajlovi iz direktorijuma "cgi-bin" biće ignorisani od strane googlebot-a.
Ako ostavite Disallow liniju praznu, pretraživač će indeksirati sve web stranice. U svakom slučaju morate uneti Disallow liniju za svaki zapis User agent linije.
Ako spajderima pretraživača želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:
User-agent: *
Disallow: /cgi-bin/
Najčešće, spajderima svih pretraživača treba dodeliti ista prava.
Kako da dopustite spajderima pretraživača da indeksiraju sve fajlove?
Svi fajlovi će biti indeksirani ako upišete samo sledeće dve linije:
User-agent: *
Disallow:
Kako blokirati indeksiranje svih fajlova od strane spajdera?
Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite sledeće:
User-agent: *
Disallow: /
Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.
Šta je robots.txt fajl?
Fajl robots.txt je običan tekstualni fajl koji se smešta u rot direktorijum sajta.
Kada crawler web pretraživača poseti vaš sajt, on prvo treaži jedan poseban fajl. Taj fajl nosi naziv robots.txt a njegova je namena da spajderu web pretraživača kaže koje strane vašeg sajta treba da budu indeksirane a koje treba da ignoriše.
Kako se kreira fajl robots.txt?
Kao što je predhodno pomenuto robots.txt je običan tekstualni fajl. Za njegovo kreiranje možete koristiti bilo koji teks editor.
Sadržaj robots.txt fajla čine tzv. zapisi (records).
Zapis sadrži informacije bitne za pretraživače. Svaki zapis čine dva polja:
User agent linija
i
Disallow linija
Evo primera:
User-agent: googlebot
Disallow: /cgi-bin/
Fajl robots.txt će omogućiti pristup Google-ovom spajderu da indeksira sve stranice sajta osim fajlova u okviru "cgi-bin" direktorijuma. Svi fajlovi iz direktorijuma "cgi-bin" biće ignorisani od strane googlebot-a.
Ako ostavite Disallow liniju praznu, pretraživač će indeksirati sve web stranice. U svakom slučaju morate uneti Disallow liniju za svaki zapis User agent linije.
Ako spajderima pretraživača želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:
User-agent: *
Disallow: /cgi-bin/
Najčešće, spajderima svih pretraživača treba dodeliti ista prava.
Kako da dopustite spajderima pretraživača da indeksiraju sve fajlove?
Svi fajlovi će biti indeksirani ako upišete samo sledeće dve linije:
User-agent: *
Disallow:
Kako blokirati indeksiranje svih fajlova od strane spajdera?
Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite sledeće:
User-agent: *
Disallow: /
Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.
Web programiranje |
Permalink |
Dodaj komentar |
Trekbekovi (0)
Meni
Pretraži
Kalendar
| « | Jun 2008 | » | ||||
|---|---|---|---|---|---|---|
| Po | Ut | Sr | Če | Pe | Su | Ne |
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | ||||||