robots.txt : le guide complet
robots.txt indique aux robots ce qu’ils peuvent explorer ou non. Une seule mauvaise ligne peut retirer tout votre site des résultats.
À quoi sert robots.txt
robots.txt est un fichier texte à la racine de votre domaine qui indique aux robots les parties du site qu’ils peuvent explorer. C’est une demande, pas une sécurité : les robots honnêtes l’observent, les autres l’ignorent.
Ce n’est pas fait pour masquer des pages : utilisez noindex pour cela.
Les directives essentielles
| Directive | Signification |
|---|---|
User-agent |
Le robot concerné (* = tous) |
Allow |
Chemins explorables |
Disallow |
Chemins à ne pas explorer |
Sitemap |
URL complète de votre sitemap |
Crawl-delay |
Délai entre requêtes (souvent ignoré) |
Un fichier de départ sûr
User-agent: *
Allow: /
Disallow: /api/
Disallow: /search
Disallow: /*?s=
Sitemap: https://exemple.com/sitemap.xml
Générez un fichier correct avec le générateur robots.txt.
Allow et Disallow : l’ordre
La correspondance la plus longue l’emporte, donc la spécificité compte. Allow: /blog peut créer une exception sous Disallow: /. Testez les règles ambiguës avant de déployer.
Six erreurs qui pénalisent
Disallow: /en production — désindexe tout le site.- Bloquer CSS et JS — Google en a besoin pour rendre la page.
- Compter sur robots.txt pour la confidentialité — utilisez l’authentification.
- Bloquer le sitemap ou les pages que vous voulez voir classées.
- Fautes de syntaxe —
Disallow /(sans deux-points) est ignoré. - Pas de référence au sitemap.
robots.txt et noindex ensemble
Piège classique : si une page est interdite dans robots.txt, le robot ne voit jamais son noindex — la page peut donc rester indexée. Pour la retirer, autorisez l’exploration et ajoutez noindex.
Testez avant de publier
Déployez en préproduction, ouvrez /robots.txt et vérifiez que les URL attendues sont autorisées. Contrôlez la couverture dans la Search Console après la mise en ligne.
Construisez le vôtre
Utilisez le générateur robots.txt gratuit, puis associez-lui un sitemap XML.