Comment fonctionne le robots.txt ?
Le fichier se trouve toujours à la même adresse : https://exemple.fr/robots.txt. Avant d'explorer un site, un robot comme Googlebot le lit et applique les règles qui le concernent. Chaque groupe de règles commence par une ligne User-agent (le robot visé, ou * pour tous), suivie de lignes Disallow (chemins interdits) et Allow (exceptions autorisées). Une ligne Sitemap peut aussi indiquer l'adresse du sitemap XML.
Le protocole est normalisé par l'IETF dans la RFC 9309. Google applique une limite de taille de 500 Kio : tout ce qui dépasse est ignoré. Les règles sont des consignes que les robots sérieux respectent, pas une protection : un robot malveillant peut les ignorer.
Pourquoi le robots.txt compte en SEO
Le robots.txt permet d'orienter le crawl vers les pages utiles et d'éviter que les robots perdent leur temps sur des zones sans intérêt pour la recherche : pages de panier, résultats de recherche interne, filtres à l'infini d'une boutique. Sur un gros site, cela aide Google à consacrer son exploration aux contenus qui doivent être trouvés.
Il présente aussi un risque : une seule ligne mal écrite peut bloquer tout le site. Une règle Disallow: / oubliée après une mise en ligne suffit à empêcher l'exploration de toutes les pages.
Exemple concret
Une boutique WooCommerce de mobilier ne veut pas que les robots explorent son panier, son tunnel de commande et les pages de compte client. Son fichier contient :
User-agent: *Disallow: /panier/Disallow: /commande/Disallow: /mon-compte/Sitemap: https://exemple.fr/sitemap_index.xml
Sur WordPress, un robots.txt virtuel est généré par défaut, et les extensions SEO comme Yoast SEO ou Rank Math permettent de le modifier depuis l'administration. Le rapport robots.txt de la Search Console montre la version lue par Google et les éventuelles erreurs.
Bonnes pratiques et erreurs à éviter
- Ne pas utiliser le robots.txt pour cacher une page : une URL bloquée peut quand même être indexée si d'autres sites la citent. Pour exclure une page des résultats, la balise
noindexest le bon outil, et la page doit rester explorable pour que Google la lise. - Ne pas bloquer les fichiers CSS et JavaScript : Google en a besoin pour afficher la page comme un visiteur.
- Vérifier le fichier après chaque mise en ligne, surtout quand un site de préproduction bloquait tous les robots.
- Respecter la casse : les chemins sont sensibles aux majuscules.
Lors de nos audits, le premier fichier que nous ouvrons est le robots.txt : nous y trouvons encore des sites entiers bloqués depuis leur lancement.
Sources : Google Search Central : présentation des fichiers robots.txt ; Google : interprétation de la spécification robots.txt ; IETF : RFC 9309, Robots Exclusion Protocol.