Comment Claude utilise-t-il la recherche web, et qu’en sait-on ?

Par Gaétan Berthelot, fondateur d’Abysia · Publié le 23 octobre 2026 · Mis à jour le 24 octobre 2026

Claude décide lui-même de chercher sur le web, et cite alors ses sources. Anthropic documente trois robots aux rôles distincts : l’entraînement, la recherche, et la visite à la demande d’un utilisateur. Dans les pages consultées, elle ne publie pas de critère de choix des sources.

Quand Claude cherche-t-il sur le web ?

Claude décide lui-même. D’après le centre d’aide, il cherche quand cela aide ; d’après la documentation de l’API, il le fait quand la demande dépend d’informations actuelles, changeantes ou absentes de son entraînement, et répond directement pour des connaissances stables.

Ce déclenchement dépend donc de la question. Pour une même marque, une question sur son histoire peut relever de la mémoire du modèle, et une question sur son offre du moment d’une recherche. Les deux ne se mesurent pas ensemble : c’est la distinction entre visibilité de mémoire et visibilité en recherche.

Le déclenchement se pilote aussi. La documentation de l’API indique qu’une consigne peut pousser Claude à chercher plus volontiers ou à préférer répondre directement, et le centre d’aide suggère d’écrire « Search the web » pour s’assurer qu’il cherche. Une mesure honnête ne doit donc pas inciter Claude à chercher : elle doit poser la question comme un utilisateur ordinaire.

Quels robots d’Anthropic touchent à Claude ?

Trois robots, trois rôles. Anthropic distingue ClaudeBot, pour des contenus pouvant contribuer à l’entraînement, Claude-User, pour les visites faites quand une personne interroge Claude, et Claude-SearchBot, pour améliorer la qualité des résultats de recherche. Chacun se règle séparément dans robots.txt.

Robot	Rôle selon Anthropic	Si vous le désactivez
ClaudeBot	Collecte du contenu web pouvant contribuer à l’entraînement	Signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement
Claude-User	Accède à des sites quand une personne pose une question à Claude	Empêche la récupération du contenu en réponse à une demande, ce qui peut réduire la visibilité du site dans la recherche web demandée par l’utilisateur
Claude-SearchBot	Parcourt le web pour améliorer la qualité des résultats de recherche	Empêche l’indexation du contenu pour l’optimisation de la recherche

Anthropic précise que ses robots respectent robots.txt, qu’ils acceptent la directive non standard Crawl-delay, et que l’opposition se déclare pour chaque sous-domaine concerné. Bloquer ses adresses IP peut en revanche ne pas fonctionner de façon fiable ni durable, car cela l’empêche de lire robots.txt.

Comment autoriser la recherche sans autoriser l’entraînement ?

En traitant chaque robot à part dans robots.txt. Comme Anthropic décrit l’effet de chaque désactivation séparément, un site peut refuser l’entraînement tout en restant accessible à la recherche et aux visites demandées par un utilisateur. Le fichier ci-dessous en donne un exemple, commenté ligne par ligne.

# Entraînement : refusé
User-agent: ClaudeBot
Disallow: /

# Recherche et visites à la demande : autorisées
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Ce fichier est un exemple de configuration à adapter, pas une recommandation : Anthropic documente les effets de chaque robot, pas cette combinaison précise. Le choix dépend de la stratégie du site. Abysia autorise pour sa part tous les agents d’IA listés dans son propre robots.txt.

Que documentent les trois sources d’Anthropic, et que laissent-elles de côté ?

Chacune couvre un objet différent, et aucune ne décrit, dans les passages consultés, les critères de choix d’une source. Le tableau situe ce que dit chaque page, pour éviter de prêter à l’application ce qui est écrit pour l’API, ou l’inverse.

Source	Ce qu’elle documente	Limite
Article sur les robots	Rôle des trois robots, respect de robots.txt, Crawl-delay, adresses IP publiées	Ne décrit pas comment une source est choisie pour une réponse
Centre d’aide de Claude	Claude cherche quand cela aide ; réponses avec citations et liens ; lecture d’une page dont l’adresse est fournie ; localisation déduite de l’adresse IP ; activation par un administrateur dans les offres d’équipe	Dit que les images viennent de résultats « powered by Bing » ; dans les passages consultés, il ne précise pas le fournisseur de la recherche de texte
Documentation de l’API	Déclenchement par Claude, citations toujours activées, listes de domaines autorisés ou bloqués, désactivation possible par un administrateur	Décrit un outil pour développeurs, pas l’application

Un point mérite attention : la documentation de l’API permet à un développeur ou à un administrateur de limiter les domaines consultés. Un assistant construit sur Claude peut donc ne pas voir un site que l’application grand public voit, et l’inverse.

Hypothèse de travail : être autorisé pour Claude-SearchBot et Claude-User est un préalable pour que Claude puisse trouver et lire les pages d’un site, mais rien dans les pages consultées ne dit que cela suffise à être cité. Nous traitons l’accès comme un préalable à vérifier, et la citation comme un résultat à mesurer.

Questions fréquentes

Claude-SearchBot et ClaudeBot : quelle différence ?

Selon Anthropic, ClaudeBot collecte du contenu pouvant contribuer à l’entraînement des modèles, tandis que Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche. (source)

Peut-on autoriser la recherche sans autoriser l’entraînement ?

Anthropic décrit l’effet de la désactivation de chaque robot séparément : ClaudeBot pour l’entraînement, Claude-SearchBot pour l’indexation destinée à la recherche, Claude-User pour la récupération à la demande d’un utilisateur. Chaque robot peut donc être traité à part dans robots.txt. (source)

Anthropic respecte-t-elle robots.txt ?

Anthropic écrit que ses robots respectent les signaux de non-exploration de robots.txt, et qu’elle prend en charge la directive non standard Crawl-delay. (source)

Peut-on bloquer les robots d’Anthropic par adresse IP ?

Anthropic avertit que bloquer ses adresses IP peut ne pas produire un retrait fiable ni durable, car cela l’empêche de lire votre fichier robots.txt. (source)

Claude cite-t-il ses sources ?

Le centre d’aide de Claude indique que, lorsque Claude cherche sur le web, ses réponses comportent des citations et des liens vers les sources. (source)

Ce qui a changé

24 octobre 2026 : Liens « À lire aussi » mis à jour vers les nouvelles pages du lot E.
23 octobre 2026 : Publication.

Sources

Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic), vérifiée le 23 octobre 2026
Web search tool (Anthropic), vérifiée le 23 octobre 2026
Enable and use web search (Claude Help Center (Anthropic)), vérifiée le 23 octobre 2026