Quel robots.txt copier pour tout ouvrir, n’ouvrir que la recherche ou fermer l’entraînement ?

Quel robots.txt copier pour tout ouvrir ?

Un fichier qui autorise explicitement chaque robot d’IA documenté, puis tous les autres. L’écriture explicite n’est pas nécessaire, puisque Google indique qu’en l’absence de règle il n’y a aucune restriction. Elle rend l’intention lisible et la protège d’une règle ajoutée plus tard.

# Modèle 1 : tout ouvrir, robots d’IA compris
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Google-Extended
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

1. Les lignes User-agent consécutives forment un seul groupe : la règle Allow qui suit s’applique à chacun des neuf robots listés.
2. Le second groupe, avec une étoile, vaut pour tous les autres robots ; Google écrit que les groupes spécifiques et le groupe global ne se combinent pas.
3. La ligne Sitemap n’est liée à aucun robot ; son adresse doit être complète. Remplacer l’adresse d’exemple par celle du site.
4. Ce modèle ouvre aussi l’entraînement : OpenAI précise que, si les deux robots sont autorisés, elle peut utiliser les résultats d’une seule exploration pour la recherche et pour l’entraînement.

Comment n’ouvrir que la recherche ?

En autorisant les robots de recherche et en refusant les deux autres rôles. Le fichier ci-dessous le fait pour les trois services qui publient un robot de recherche. Le refus des visites à la demande a des effets très inégaux d’un éditeur à l’autre, comme le montre le tableau plus bas.

# Modèle 2 : n’ouvrir que la recherche
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /

# Entraînement et visites à la demande : refusés
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
Disallow: /

User-agent: *
Allow: /

1. Premier groupe : les trois robots de recherche sont autorisés.
2. Deuxième groupe : les robots d’entraînement et les robots de visite à la demande sont refusés pour tout le site.
3. Dernier groupe : les robots non listés, par exemple celui d’un moteur de recherche classique, restent autorisés.
4. Un refus ne vaut pas pour tout le monde : OpenAI écrit que les règles robots.txt peuvent ne pas s’appliquer à son robot d’actions utilisateur, et Perplexity que le sien ignore en général robots.txt.

Comment refuser l’entraînement sans fermer le reste ?

En refusant les seuls robots d’entraînement et en gardant tout le reste ouvert. C’est le modèle le plus courant pour un site qui veut apparaître dans les réponses sans que ses contenus servent à entraîner les modèles futurs. Chaque éditeur décrit son effet à sa façon, et aucun ne parle du passé.

# Modèle 3 : fermer l’entraînement, garder le reste
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

1. Premier groupe : les trois robots d’entraînement documentés sont refusés pour tout le site.
2. Dernier groupe : tout le reste reste ouvert, recherche et visites à la demande comprises.
3. Ce fichier ne dit rien du contenu déjà collecté : Anthropic écrit que la restriction signale que les contenus futurs du site doivent être exclus de ses jeux de données d’entraînement.
4. Pour chaque sous-domaine concerné, il faut répéter le fichier : c’est la consigne d’Anthropic.

Que ferme chaque modèle, et que ne ferme-t-il pas ?

Chaque modèle ouvre une porte ou la ferme, sans décider du résultat. Le tableau reprend, pour chacun, ce que les éditeurs documentent, et ce que leurs pages ne disent pas. Il vaut à la date de vérification des sources, et se relit si un éditeur modifie sa documentation.

Comment tester son fichier avant de le publier ?

En le relisant comme un robot, groupe par groupe, puis en vérifiant ce que les journaux montrent après le délai annoncé. Un robots.txt ne se teste pas comme une page : une erreur de groupe ouvre ce que l’on voulait fermer, ou l’inverse, sans aucun message.

• Le fichier est à la racine du site, en texte brut UTF-8 : Google ne cherche pas de robots.txt dans un sous-répertoire.
• Chaque robot suit le groupe qui le désigne le plus précisément, et les autres groupes sont ignorés pour lui (Google).
• Les noms de robots viennent du tableau des robots d’IA, avec leur source.
• Après la publication, attendre le délai annoncé, environ 24 heures pour la recherche d’OpenAI et jusqu’à 24 heures pour Perplexity, puis lire les journaux du serveur.
• Ne pas voir dans robots.txt une protection : Google écrit que ce n’est pas un mécanisme pour garder une page hors de Google.

Ces trois fichiers sont des exemples de configuration, pas des recommandations : les éditeurs documentent l’effet de chaque robot, pas ces combinaisons précises. Aucun d’eux n’indique qu’un réglage fasse citer une marque.