web:seo:toc
robots.txt
Le fichier texte robots.txt
, qui est placé dans le répertoire racine d'un site web, sert à permettre ou empêcher certains robots d'engins de recherche d'indexer certaines parties du site.
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/
Autre exemple qui permet un seul engin de recherche :
User-agent: Google Disallow: User-agent: * Disallow: /
Source : http://www.robotstxt.org/robotstxt.html.
web/seo/toc.txt · Dernière modification : 2022/02/02 00:42 de 127.0.0.1