Le fichier texte robots.txt, qui est placé dans le répertoire racine d'un site web, sert à permettre ou empêcher certains robots d'engins de recherche d'indexer certaines parties du site.
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/
Autre exemple qui permet un seul engin de recherche :
User-agent: Google Disallow: User-agent: * Disallow: /
Source : http://www.robotstxt.org/robotstxt.html.