Crawl delay reguluje tempo botov pri slabších serveroch. Pomáha stabilite a šetrí zdroje, no treba ho používať uvážlivo.
Značka: crawl-delay
Robots.txt
Robots.txt riadi prístup crawlerov k častiam webu. Správna syntax, testovanie a bezpečnosť chránia server a usmernia indexáciu.
Robots.txt a meta directives
Robots.txt a meta directives: jemné ladenie crawl-u. Praktické príklady pravidiel, kedy použiť noindex, nofollow a ako zabrániť blokovaniu dôležitých zdrojov.