Ako na vašem sajtu ne postoji robots.txt fajl ovaj članak će vam pokazati kako da ga napravite. Šta je robots.txt fajl? Fajl robots.txt je običan tekstualni fajl koji se smešta u rot direktorijum sajta. Kada crawler web pretraživača poseti vaš sajt, on prvo...