Comment savoir si une IA parle de ma marque, et que noter à chaque essai ?

Quel protocole suivre pour tester à la main ?

Dix étapes, toujours dans le même ordre. Elles fixent d’abord la question, le service et le mode, puis le nombre d’essais, avant de noter chaque réponse. Le protocole ne dit pas si la marque est visible en général : il dit si elle apparaît dans ces réponses, dans ces conditions, ce jour-là.

1. Choisir une question d’acheteur qui ne nomme ni la marque ni ses concurrents, comme le décrit notoriété spontanée ou assistée.
2. Choisir le service et le mode (avec ou sans recherche) et les garder pour tout le test.
3. Noter le modèle quand le service l’affiche : Perplexity permet de le choisir avec Pro Search.
4. Repartir d’une conversation neuve à chaque essai. C’est une règle de prudence d’Abysia : aucune source consultée ne mesure l’effet d’un historique de conversation.
5. Répéter la question autant de fois que le temps le permet : la référence de l’API d’OpenAI décrit une sortie plus ou moins aléatoire, qu’un seul essai ne résume pas.
6. Noter pour chaque réponse la date, le service, le mode, le modèle et la question.
7. Noter si la marque est nommée, et si une source est affichée.
8. Noter une réponse en erreur ou vide comme telle, sans la lire comme une absence de la marque.
9. Ne rien changer à la question entre deux essais, sauf pour en ouvrir une nouvelle série.
10. Écrire le constat avec ses conditions et le nombre de réponses : « sur tant de réponses, dans ce service et ce mode, à cette date ».

À quoi ressemble une grille de relevé à copier ?

Une ligne par réponse, neuf colonnes séparées par des points-virgules pour s’ouvrir dans un tableur. La grille ci-dessous est un modèle à copier ; ses lignes d’exemple sont inventées, sur une marque fictive. Elle fixe les faits à noter, sans seuil ni règle de décision.

date;service;mode;modele;question;essai;mention;source_affichee;etat
2026-11-03;service A;recherche;modele X;Quel outil choisir pour suivre ses factures ?;1;oui;oui;ok
2026-11-03;service A;recherche;modele X;Quel outil choisir pour suivre ses factures ?;2;oui;oui;ok
2026-11-03;service A;sans recherche;modele X;Quel outil choisir pour suivre ses factures ?;1;non;non;ok
2026-11-03;service A;sans recherche;modele X;Quel outil choisir pour suivre ses factures ?;2;;;erreur

1. Première ligne : l’en-tête. Le garder tel quel quand le fichier est partagé entre plusieurs personnes.
2. date, service, mode, modele : les conditions de la réponse. Deux lignes qui diffèrent sur l’une d’elles ne se mélangent pas.
3. question et essai : la question reste identique d’un essai à l’autre ; seul le numéro d’essai change.
4. mention et source_affichee : oui ou non, à remplir pour chaque réponse reçue.
5. etat : ok, erreur ou vide. Les lignes en erreur ou vides restent dans le fichier, avec les champs de résultat vides : elles comptent comme données manquantes.

Comment lire le relevé sans conclure trop vite ?

En regroupant les lignes par service, mode et modèle, puis en calculant, dans chaque groupe, la part des réponses qui nomment la marque, avec le nombre de réponses. Un groupe de quelques lignes ne permet pas de conclure : l’article sur les pièges de la mesure explique pourquoi, et la marge d’erreur dit ce que le groupe permet d’affirmer.

Le taux de mention se lit toujours avec sa marge d’erreur. Les lignes en erreur ou vides sortent du calcul, mais s’affichent à part : un groupe dont la moitié des réponses manque ne dit presque rien.

Quand passer d’un test à la main à une mesure ?

Dès que la décision qui dépend du résultat compte, ou que le nombre de réponses nécessaires dépasse ce qu’une personne peut relever. Un test à la main sert à découvrir un problème ; une mesure répétée, avec marge d’erreur et méthode fixée, sert à décider et à suivre une évolution.

Le nombre de réponses nécessaires dépend du taux visé et de la précision voulue : voir combien de réponses pour conclure et mesurer en continu.