Robots.txt a meta directives: jemné ladenie crawl-u. Praktické príklady pravidiel, kedy použiť noindex, nofollow a ako zabrániť blokovaniu dôležitých zdrojov.