SEO technique

Robots.txt : définition

Le robots.txt est un fichier texte placé à la racine d'un site web qui indique aux robots des moteurs de recherche quelles parties du site ils peuvent explorer. Il sert à gérer le passage des robots d'exploration, mais il ne garantit pas qu'une page restera absente des résultats de Google.

Autres noms : fichier robots.txtprotocole d'exclusion des robotsRobots Exclusion Protocol

Comment fonctionne le robots.txt ?

Le fichier se trouve toujours à la même adresse : https://exemple.fr/robots.txt. Avant d'explorer un site, un robot comme Googlebot le lit et applique les règles qui le concernent. Chaque groupe de règles commence par une ligne User-agent (le robot visé, ou * pour tous), suivie de lignes Disallow (chemins interdits) et Allow (exceptions autorisées). Une ligne Sitemap peut aussi indiquer l'adresse du sitemap XML.

Le protocole est normalisé par l'IETF dans la RFC 9309. Google applique une limite de taille de 500 Kio : tout ce qui dépasse est ignoré. Les règles sont des consignes que les robots sérieux respectent, pas une protection : un robot malveillant peut les ignorer.

Pourquoi le robots.txt compte en SEO

Le robots.txt permet d'orienter le crawl vers les pages utiles et d'éviter que les robots perdent leur temps sur des zones sans intérêt pour la recherche : pages de panier, résultats de recherche interne, filtres à l'infini d'une boutique. Sur un gros site, cela aide Google à consacrer son exploration aux contenus qui doivent être trouvés.

Il présente aussi un risque : une seule ligne mal écrite peut bloquer tout le site. Une règle Disallow: / oubliée après une mise en ligne suffit à empêcher l'exploration de toutes les pages.

Exemple concret

Une boutique WooCommerce de mobilier ne veut pas que les robots explorent son panier, son tunnel de commande et les pages de compte client. Son fichier contient :

User-agent: *
Disallow: /panier/
Disallow: /commande/
Disallow: /mon-compte/
Sitemap: https://exemple.fr/sitemap_index.xml

Sur WordPress, un robots.txt virtuel est généré par défaut, et les extensions SEO comme Yoast SEO ou Rank Math permettent de le modifier depuis l'administration. Le rapport robots.txt de la Search Console montre la version lue par Google et les éventuelles erreurs.

Bonnes pratiques et erreurs à éviter

  • Ne pas utiliser le robots.txt pour cacher une page : une URL bloquée peut quand même être indexée si d'autres sites la citent. Pour exclure une page des résultats, la balise noindex est le bon outil, et la page doit rester explorable pour que Google la lise.
  • Ne pas bloquer les fichiers CSS et JavaScript : Google en a besoin pour afficher la page comme un visiteur.
  • Vérifier le fichier après chaque mise en ligne, surtout quand un site de préproduction bloquait tous les robots.
  • Respecter la casse : les chemins sont sensibles aux majuscules.

Lors de nos audits, le premier fichier que nous ouvrons est le robots.txt : nous y trouvons encore des sites entiers bloqués depuis leur lancement.

Sources : Google Search Central : présentation des fichiers robots.txt ; Google : interprétation de la spécification robots.txt ; IETF : RFC 9309, Robots Exclusion Protocol.

FAQ

Questions sur Robots.txt.

Le robots.txt empêche-t-il une page d'apparaître dans Google ?

Non. Il empêche l'exploration, pas l'indexation. Une page bloquée peut apparaître dans les résultats, souvent sans description, si des liens pointent vers elle. Pour la retirer, il faut une balise noindex sur une page laissée accessible aux robots.

Un site doit-il obligatoirement avoir un robots.txt ?

Non. Sans fichier, les robots considèrent que tout le site peut être exploré. Un robots.txt devient utile dès qu'il existe des zones à écarter du crawl ou pour signaler l'adresse du sitemap XML.

Peut-on bloquer les robots d'IA avec le robots.txt ?

Oui, à condition que le robot respecte le protocole et qu'on connaisse son nom de user-agent. Chaque éditeur publie le nom de ses robots, et une règle Disallow dédiée suffit pour leur interdire l'exploration.

Votre site est-il bien parti sur ces sujets ?

Notre diagnostic gratuit analyse votre site en une minute : vitesse, référencement, sécurité. Pour aller plus loin, notre équipe à Bordeaux vous répond sous 24 h.