Outils pour utilisateurs

Outils du site


web:seo:toc

robots.txt

Le fichier texte robots.txt, qui est placé dans le répertoire racine d'un site web, sert à permettre ou empêcher certains robots d'engins de recherche d'indexer certaines parties du site.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

Autre exemple qui permet un seul engin de recherche :

User-agent: Google
Disallow:

User-agent: *
Disallow: /

Source : http://www.robotstxt.org/robotstxt.html.

web/seo/toc.txt · Dernière modification : 2022/02/02 00:42 de 127.0.0.1