Comment utiliser le générateur
- Choisissez un modèle ou l’accès par défaut : autoriser ou bloquer toute exploration.
- Saisissez les chemins : interdits et exceptions autorisées, un par ligne.
- Ajoutez les URL des sitemaps et éventuellement un Crawl-delay.
- Réglez les robots un par un : moteurs de recherche et robots d’IA sur Par défaut, Autoriser ou Bloquer.
- Testez une URL, copiez ou téléchargez le robots.txt et placez-le à la racine de votre domaine.
Qu’est-ce que le robots.txt ?
Le robots.txt est un simple fichier texte placé à la racine d’un site, accessible à l’adresse https://votre-domaine.fr/robots.txt. Il indique aux robots d’exploration quelles zones ils peuvent visiter. Depuis 2022, le format est normalisé par la RFC 9309. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Disallow et Allow. Les lignes Sitemap pointent vers vos sitemaps XML. Important : le robots.txt est une demande, pas une protection d’accès. Les robots sérieux le respectent, les robots malveillants non.
Contrôler précisément les robots d’IA
De plus en plus de robots collectent des contenus pour l’intelligence artificielle. Le générateur distingue trois usages, aux conséquences très différentes pour votre site :
| Usage | Exemples | Effet d’un blocage |
|---|---|---|
| Entraînement d’IA | GPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgent | vos contenus ne servent pas à entraîner de futurs modèles |
| Recherche IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | votre site apparaît moins dans les réponses des moteurs IA |
| Déclenché par l’utilisateur | ChatGPT-User, Claude-User, Perplexity-User | les assistants IA ne peuvent pas consulter votre page à la demande |
Le modèle « Bloquer seulement l’entraînement d’IA » bloque les robots d’entraînement tout en autorisant la recherche et la récupération, un compromis courant. « Bloquer tous les robots d’IA » bloque tous ceux de la liste. Google-Extended ne concerne que l’usage par les modèles d’IA de Google et n’a aucun effet sur la recherche Google classique.
Comment les robots appliquent les règles
Un robot ne suit que le groupe le plus spécifique qui le nomme et ignore alors le groupe général User-agent: *. Si vous autorisez explicitement un robot, le générateur reprend donc automatiquement vos chemins interdits par défaut dans son groupe, pour qu’il n’explore pas /admin/. Au sein d’un groupe, c’est la règle correspondante la plus longue qui l’emporte ; en cas d’égalité, Allow gagne. Jokers : * pour n’importe quelle suite de caractères, $ pour la fin de l’URL. Le testeur applique exactement ces règles et indique le groupe et la règle retenus.
Erreurs fréquentes
- Tout bloquer :
Disallow: /pour tous les robots fait disparaître votre site des résultats. Réservé à la préproduction. - CSS et JavaScript bloqués : Google ne peut plus afficher correctement la page, ce qui nuit au classement.
- Le robots.txt comme protection : des URL bloquées peuvent quand même apparaître dans l’index si elles sont liées. Pour la désindexation, utilisez
noindex; pour la protection, un mot de passe. - Crawl-delay pour Google : Google l’ignore, alors que Bing et Yandex le respectent.
Sitemaps et WordPress
Indiquez l’URL complète de votre sitemap, par exemple https://votre-domaine.fr/sitemap.xml, pour que les moteurs trouvent toutes vos pages. Le modèle WordPress interdit /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php, dont de nombreux thèmes et extensions ont besoin. Après la mise en ligne, vous pouvez vérifier le fichier dans Google Search Console.
Un exemple
Pour une boutique en ligne, interdisez le panier /cart/, le compte client /account/ et les pages de résultats de recherche /search?, qui génèrent une infinité d’URL presque identiques, puis ajoutez le sitemap. Avec le modèle « Bloquer seulement l’entraînement d’IA », vos fiches produits ne serviront pas à entraîner des modèles d’IA tout en restant visibles dans les moteurs IA. Le testeur confirme ensuite que /produits/chaussures-rouges est autorisé pour Googlebot, que /cart/ est bloqué et que GPTBot n’a pas accès. Mettez le fichier en ligne à la racine et ouvrez-le dans le navigateur pour vérifier qu’il est public.
Questions fréquentes
Où placer le robots.txt ?
À la racine du domaine, accessible via /robots.txt. Chaque sous-domaine a besoin du sien.
Puis-je interdire l’entraînement d’IA ?
Vous pouvez demander aux robots d’IA sérieux comme GPTBot, ClaudeBot ou Google-Extended de ne pas utiliser vos contenus.
Bloquer les robots d’IA nuit-il à mon référencement Google ?
Non, tant que Googlebot reste autorisé. Google-Extended ne concerne que les modèles d’IA de Google.
Disallow retire-t-il une page de Google ?
Pas de façon fiable. Utilisez la balise meta noindex, en laissant la page explorable.
Mes saisies sont-elles enregistrées ?
Non, tout reste dans votre navigateur.