Le fichier texte robots.txt, qui est placé dans le répertoire racine d'un site web, sert à permettre ou empêcher certains robots d'engins de recherche d'indexer certaines parties du site.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

Autre exemple qui permet un seul engin de recherche :

User-agent: Google
Disallow:

User-agent: *
Disallow: /

Source : http://www.robotstxt.org/robotstxt.html.