Quels sont les robots des IA, à quoi servent-ils et respectent-ils robots.txt ?
Les robots d’IA se rangent en trois rôles : la recherche, l’entraînement et les visites faites à la demande d’un utilisateur. Chaque éditeur documente ses propres robots, avec des règles robots.txt qui diffèrent, et les robots à la demande peuvent ignorer robots.txt. Le tableau donne pour chaque robot son éditeur, son rôle, ce que la source dit de robots.txt et la date de vérification.
Quels robots d’IA sont documentés, et que font-ils ?
Dix robots ont une page officielle ouverte : trois chez OpenAI, deux chez Perplexity, trois chez Anthropic et deux chez Google. Le tableau est produit à partir d’un fichier de données unique, aussi utilisé pour le robots.txt de ce site. Chaque ligne porte la source de son éditeur et la date à laquelle elle a été vérifiée.
| User-agent | Éditeur | Rôle | robots.txt | Source | Vérifié le |
|---|---|---|---|---|---|
Googlebot | Recherche Google : les préférences adressées à Googlebot concernent Google Search, dont ses fonctions, et d’autres produits de Google | Les robots d’exploration communs de Google obéissent toujours aux règles robots.txt lors d’une exploration automatique | Google Crawling Infrastructure | ||
OAI-SearchBot | OpenAI | Recherche : fait apparaître des sites dans les résultats des fonctions de recherche de ChatGPT | Réglable par sa balise robots.txt ; environ 24 heures pour que les systèmes d’OpenAI s’adaptent à un changement | OpenAI | |
GPTBot | OpenAI | Entraînement : collecte du contenu pouvant servir à entraîner les modèles de fondation d’OpenAI | Réglable par sa balise robots.txt ; l’interdire indique que le contenu ne doit pas servir à l’entraînement | OpenAI | |
ChatGPT-User | OpenAI | À la demande : certaines actions d’un utilisateur dans ChatGPT et les GPT personnalisés ; pas d’exploration automatique du web | Ces actions étant déclenchées par un utilisateur, les règles robots.txt peuvent ne pas s’appliquer | OpenAI | |
PerplexityBot | Perplexity | Recherche : fait apparaître et lie des sites dans les résultats de Perplexity ; pas utilisé pour collecter du contenu destiné aux modèles de fondation | Réglable par robots.txt ; la page consultée ne dit pas explicitement s’il le respecte ; jusqu’à 24 heures pour refléter un changement | Perplexity | |
Perplexity-User | Perplexity | À la demande : actions d’un utilisateur dans Perplexity ; ni exploration du web ni entraînement | La visite étant demandée par un utilisateur, cet agent ignore en général les règles robots.txt | Perplexity | |
ClaudeBot | Anthropic | Entraînement : collecte du contenu web pouvant contribuer à l’entraînement des modèles d’Anthropic | Les robots d’Anthropic respectent les signaux « ne pas explorer » de robots.txt, dont Crawl-delay | Anthropic | |
Claude-User | Anthropic | À la demande : accès aux sites quand une personne interroge Claude | Les robots d’Anthropic respectent les signaux « ne pas explorer » de robots.txt, dont Crawl-delay | Anthropic | |
Claude-SearchBot | Anthropic | Recherche : parcourt le web pour améliorer la qualité des résultats de recherche | Les robots d’Anthropic respectent les signaux « ne pas explorer » de robots.txt, dont Crawl-delay | Anthropic | |
Google-Extended | Entraînement et grounding : gère l’usage des contenus pour entraîner les futurs modèles Gemini et pour le grounding ; sans effet sur Google Search | Jeton de contrôle dans robots.txt, sans chaîne user-agent propre | Google Crawling Infrastructure |
Quel rôle faut-il distinguer pour choisir quoi autoriser ?
Trois rôles, aux effets différents. La recherche fait apparaître un site dans les réponses, l’entraînement concerne les modèles futurs, la visite à la demande répond à une personne qui interroge le service. Les éditeurs décrivent ces rôles séparément, et un site peut régler chacun à part : le choix relève de sa stratégie.
| Rôle | Robots du tableau | Ce que disent les éditeurs d’un blocage |
|---|---|---|
| Recherche | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Le site n’est pas montré dans les réponses de la recherche de ChatGPT (OpenAI) ; Claude-SearchBot désactivé, le contenu n’est pas indexé pour la recherche (Anthropic) |
| Entraînement | GPTBot, ClaudeBot, Google-Extended | Le contenu ne doit pas servir à l’entraînement (OpenAI, Anthropic) ; Google-Extended est sans effet sur Google Search (Google) |
| À la demande | ChatGPT-User, Perplexity-User, Claude-User | Les règles robots.txt peuvent ne pas s’appliquer (OpenAI) ou sont ignorées en général (Perplexity) ; Claude-User désactivé, la visibilité peut baisser dans la recherche web demandée par l’utilisateur (Anthropic) |
Comment vérifier ce qui visite réellement un site ?
En regardant les journaux du serveur, pas seulement robots.txt. Un robot autorisé par robots.txt peut être arrêté plus loin, par un pare-feu ou un CDN, et une chaîne user-agent peut être imitée. La vérification rapproche donc trois éléments : le user-agent, l’adresse source, et la réponse que le serveur a renvoyée.
- Chercher chaque user-agent du tableau dans les journaux du serveur et noter la réponse obtenue, succès ou erreur.
- Rapprocher l’adresse source des plages publiées par l’éditeur : OpenAI, Perplexity et Anthropic publient des fichiers d’adresses.
- Ne pas se fier à une chaîne user-agent seule : Google rappelle qu’elle peut être usurpée.
- Après un changement de robots.txt, attendre le délai annoncé : environ 24 heures pour la recherche d’OpenAI, jusqu’à 24 heures pour Perplexity.
Que ne dit pas ce tableau ?
Il ne dit pas quels robots autoriser, ni si les autoriser conduit à être cité. Il ne couvre que les robots dont l’éditeur a publié une page ouverte pour cette vérification : un robot de moteur de recherche classique, autorisé dans le robots.txt de ce site, n’y figure pas faute de source. Chaque ligne se relit à sa date.
Hypothèse de travail : laisser entrer le robot de recherche d’un service est une condition pour figurer dans ses réponses, selon l’éditeur concerné ; rien dans ces pages n’établit que la condition suffise. L’accès se vérifie ligne par ligne, la citation se mesure ensuite, avec sa marge d’erreur.
Questions fréquentes
Pourquoi certains robots d’IA ignorent-ils robots.txt ?
Perplexity explique que Perplexity-User, la visite étant demandée par un utilisateur, ignore en général les règles robots.txt. Un robot d’exploration automatique et une visite déclenchée par une personne ne sont pas traités de la même façon. (source)
Où trouver la liste des adresses IP d’un robot d’IA ?
Chez l’éditeur. Anthropic publie un fichier JSON d’adresses : si l’adresse source d’un robot y figure, l’exploration vient d’Anthropic. Une chaîne user-agent seule ne prouve pas l’origine d’une visite. (source)
Interdire un robot d’entraînement retire-t-il un site de la recherche ?
Non, d’après OpenAI : chaque réglage est indépendant des autres. Interdire GPTBot indique que le contenu ne doit pas servir à l’entraînement ; la présence dans la recherche de ChatGPT dépend d’OAI-SearchBot. (source)
Google-Extended influence-t-il le classement dans Google Search ?
Non, d’après Google : Google-Extended n’a pas d’effet sur l’inclusion d’un site dans Google Search et n’est pas un signal de classement. Il gère l’usage des contenus pour entraîner les futurs modèles Gemini et pour le grounding. (source)
Ce qui a changé
- : Liens « À lire aussi » mis à jour vers les nouvelles pages du lot G.
- : Paragraphe d’hypothèse reformulé pour ne plus répéter celui de la page voisine sur ce que documentent les quatre services.
- : Liens « À lire aussi » mis à jour vers les nouvelles pages du lot F.
- : Publication.
Sources
- Overview of OpenAI Crawlers (OpenAI), vérifiée le 23 octobre 2026
- Google’s common crawlers (Google Crawling Infrastructure), vérifiée le 23 octobre 2026
- Perplexity Crawlers (Perplexity), vérifiée le 23 octobre 2026
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic), vérifiée le 23 octobre 2026
À lire aussi
- Rubrique : Agir (toutes les ressources)
- Comment vérifier l’accès des robots d’IA à votre site ?
- Comment repérer les robots d’IA dans les journaux de son serveur ?
- Comment Perplexity choisit-il ses sources ?
- Quel robots.txt copier pour tout ouvrir, n’ouvrir que la recherche ou fermer l’entraînement ?
- Glossaire : ChatGPT-User, Claude-SearchBot, Claude-User, ClaudeBot, Google-Extended, GPTBot, OAI-SearchBot, Perplexity-User, PerplexityBot, robots.txt, User-agent