Empêcher ou réduire le passage des robots sur un site

Posté le 09-02-2009

Avec le traffic qui peut etre généré par un robot tel que GoogleBot, il peut parfois être intéressant de bloquer ou de réduire l’accès des robots au site. Pour cela, il suffit de connaitre le User-Agent du robot et de créer un fichier « robots.txt » à la racine du site. Ce fichier pouvant contenir du code qui peut par exemple ressembler à celui-ci.

# Liste des règles d'exclusion
# Empecher Exabot de passer sur votre site
User-agent: Exabot
Disallow: / 
# Empecher l'accès aux autres robots à certains dossiers
User-agent: *
Disallow: /typo3
Disallow: /typo3_src
Disallow: /typo3temp
Disallow: /typo3conf
Disallow: /fileadmin
Disallow: /t3lib
Disallow: /tslib
Disallow: /phpmyadmin
comments powered by Disqus