Comment repérer les robots d’IA dans les journaux de son serveur ?

Que contient une ligne du journal, et quels champs lire ?

Une ligne dit qui a demandé quelle page, quand, et avec quelle réponse. Le format « combined » de nginx y range l’adresse, la requête, le statut, le référent et le user-agent. Le journal de cette page est fictif et suit ce format ; si le vôtre diffère, les numéros de champ sont à adapter.

$ grep -m 1 OAI-SearchBot journal-fictif.log
192.0.2.10 - - [24/Oct/2026:08:01:12 +0000] "GET / HTTP/1.1" 200 5120 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"

1. L’adresse du visiteur ouvre la ligne : c’est le champ 1 pour awk, d’après le format décrit par nginx. Les adresses de ce journal sont inventées.
2. La requête est entre guillemets : méthode, chemin, protocole. Le chemin est le champ 7, parce que awk coupe aux espaces (format de nginx).
3. Le statut suit la requête et forme le champ 9 : 200 pour une page servie, 403 pour un refus, que MDN décrit comme une requête comprise mais non traitée.
4. Le user-agent ferme la ligne, entre guillemets, et porte le nom du robot. Il est déclaré par le visiteur, et Google écrit qu’il peut être usurpé.

Comment compter les visites de chaque robot ?

En extrayant le nom du robot de chaque ligne, puis en comptant les lignes identiques. La première commande ci-dessous donne le classement des robots, la deuxième les pages que l’un d’eux a demandées, la troisième le visiteur qui a lu robots.txt. Les noms cherchés sont ceux du tableau des robots documentés.

$ grep -o -E 'OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User|ClaudeBot|Claude-User|Claude-SearchBot' journal-fictif.log | sort | uniq -c | sort -rn
   5 GPTBot
   4 OAI-SearchBot
   3 PerplexityBot
   2 ClaudeBot
   1 ChatGPT-User
$ grep GPTBot journal-fictif.log | awk '{print $7, $9}'
/robots.txt 200
/ 200
/tarifs/ 200
/blog/ 200
/blog/ 200
$ grep 'GET /robots.txt' journal-fictif.log | awk '{print $1}'
192.0.2.11

1. Le motif de la première commande liste les huit noms documentés par OpenAI, Perplexity et Anthropic, et l’option -o n’affiche que la partie qui correspond.
2. Le tri, le comptage puis le tri inverse classent les robots du plus fréquent au moins fréquent. Un nom absent du motif n’apparaît pas : il suffit de l’ajouter.
3. La deuxième commande extrait deux champs pour un seul robot : le chemin demandé, champ 7, et le statut, champ 9, selon le format de nginx.
4. La troisième relève qui a demandé robots.txt. Lire ce fichier avant d’explorer est un indice de bonne conduite, pas une preuve que le robot en tient compte.

Comment savoir si un robot a été refusé ou a reçu une erreur ?

En comptant les statuts de ses visites, puis en regardant les lignes qui ne sont pas des succès. Un refus répété sur le même chemin se lit tout de suite dans le journal. La commande suivante regroupe les statuts reçus par deux robots, et la dernière isole les lignes de l’un d’eux.

$ grep -E 'GPTBot|ClaudeBot' journal-fictif.log | awk '{print $9}' | sort | uniq -c
   6 200
   1 403
$ grep ClaudeBot journal-fictif.log | awk '{print $1, $7, $9}'
203.0.113.30 / 200
203.0.113.30 /blog/ 403

1. Le premier résultat dit que six visites ont été servies et une refusée. Le statut est le champ 9 de la ligne, d’après le format de nginx.
2. La seconde commande montre où : le refus porte sur un seul chemin, alors que la page d’accueil a été servie au même visiteur.
3. Pour la suite du diagnostic (règle de robots.txt, pare-feu, réseau de diffusion), voir les lieux où un robot est bloqué.

Comment vérifier qu’un visiteur est bien le robot annoncé ?

En comparant son adresse à celles que l’éditeur publie. Le user-agent est déclaré par le visiteur, et Google écrit qu’il peut être usurpé. Le journal fictif contient une visite qui se dit robot d’OpenAI depuis une adresse absente de la liste.

$ grep GPTBot journal-fictif.log | awk '{print $1}' | sort -u
192.0.2.11
203.0.113.99
$ grep GPTBot journal-fictif.log | awk '{print $1}' | sort -u | grep -v -x -F -f ips-publiees-fictives.txt
203.0.113.99

1. La première commande liste les adresses qui se présentent sous le même nom : deux, ici.
2. La seconde retire celles qui figurent dans le fichier ips-publiees-fictives.txt. L’option -F lit les lignes comme du texte, et -x exige la ligne entière, pour qu’une adresse n’en recouvre pas une autre.
3. Reste une adresse : elle se présente comme le robot d’OpenAI sans figurer dans la liste. Elle est à traiter comme un visiteur non vérifié, non comme le robot annoncé.
4. Cette liste est un fichier d’adresses, une par ligne, inventé pour l’exemple. Les fichiers réellement publiés par les éditeurs n’ont pas été ouverts pour cette page : leur structure n’est pas vérifiée, et il faut en tirer les adresses avant d’utiliser la commande.

Les éditeurs décrivent leurs propres moyens de vérification, et ils diffèrent :

• OpenAI et Perplexity publient des adresses IP pour leurs robots, dans des fichiers.
• Anthropic renvoie vers une liste : un robot dont l’adresse source y figure vient d’Anthropic. Elle déconseille le blocage par adresse.
• Google décrit une vérification en quatre temps : recherche DNS inverse, contrôle du nom de domaine, recherche directe, comparaison avec l’adresse du journal. Il publie aussi des plages d’adresses.

Que conclure de ce que l’on voit dans les journaux ?

Qu’un robot est passé, rien de plus. Une visite dit qu’une page a été demandée, pas qu’elle sera citée ou recommandée dans une réponse. Le journal sert à vérifier l’accès, et à constater l’effet d’un changement de configuration, mais jamais à mesurer une visibilité.

• Une visite n’est pas une citation : aucune source consultée ne relie les deux. La visibilité se mesure sur les réponses, pas sur le journal.
• Les robots lancés à la demande d’un utilisateur suivent des règles propres : OpenAI écrit que robots.txt peut ne pas s’appliquer à ces actions, et Perplexity que son robot de ce type ignore en général les règles de robots.txt.
• Un changement de robots.txt n’agit pas tout de suite : OpenAI indique environ 24 heures pour que ses systèmes s’adaptent. Comparer le journal avant et après ce délai.
• Conserver assez d’historique pour comparer des périodes comparables, et noter la date de chaque changement de configuration.

Le journal et la liste d’adresses de cette page sont fictifs, et les commandes y sont exécutées par les tests du site à chaque lancement : la sortie affichée est celle du journal fictif, pas celle d’un serveur réel. Rien ne dit ce qu’un robot fera des pages qu’il a lues.