La méthode d’Abysia

Qu’est-ce qu’Abysia mesure aujourd’hui ?

Abysia mesure la visibilité d’une marque dans les réponses de ChatGPT, Perplexity, Claude et Gemini. Abysia ne mesure pas aujourd’hui Google AI Overviews ni AI Mode. Cette page décrit uniquement ce qui est livré : les garanties ci-dessous s’appliquent à chacune de ces mesures.

Nous mesurons ChatGPT, Claude, Gemini et Perplexity. Mistral, modèle français, relit chaque réponse pour en juger le ton.

Pourquoi les questions ne nomment-elles ni la marque ni ses concurrents ?

Le taux principal mesure la notoriété spontanée : une marque que l’IA cite sans qu’on la lui souffle. Si la question nomme la marque, la réponse la mentionne presque toujours, et le chiffre ne dit plus rien de sa visibilité auprès de quelqu’un qui ne la connaît pas encore.

Pourquoi chaque chiffre est-il affiché avec sa marge d’erreur et sa taille d’échantillon ?

Une IA ne répond pas toujours la même chose. Un taux calculé sur un nombre limité de réponses est une estimation, pas une valeur exacte. La marge d’erreur dit de combien il peut s’écarter, la taille d’échantillon dit sur combien de réponses il repose. Sans ces deux informations, un chiffre ne prouve rien.

Que se passe-t-il quand il y a trop peu de réponses ?

Un signal insuffisant est la mention affichée à la place d’un chiffre quand il y a trop peu de réponses pour conclure. Un faux chiffre, même précis en apparence, pousserait à de mauvaises décisions. Mieux vaut écrire que la mesure ne permet pas de conclure. La valeur du seuil reste privée.

Comment un zéro est-il prouvé ?

Un zéro prouvé est une absence démontrée : les appels à l’IA ont abouti, les réponses ne sont pas vides et un témoin de détection a confirmé que la détection fonctionne. Sans ces preuves, on ne sait pas si la marque est absente ou si la mesure a échoué, et Abysia ne conclut pas.

Pourquoi une erreur d’une IA n’est-elle jamais un 0 % ?

Une mesure partielle est un résultat auquel il manque des réponses parce qu’une IA a renvoyé une erreur, ce qui n’est jamais lu comme une absence de la marque. Abysia n’en fait donc jamais un 0 %. Le résultat est affiché comme tel, pour que personne ne lise un manque de données comme un manque de visibilité.

À quoi sert le contrôle de contamination ?

Le contrôle de contamination vérifie, avec des questions sans rapport avec le domaine de la marque, que le résultat vient bien de sa visibilité et non d’un biais de la mesure. Abysia pose pour cela des questions hors sujet. Ce contrôle protège le taux principal.

Pourquoi séparer la mémoire de l’IA et la recherche ?

Une IA peut citer une marque parce qu’elle l’a apprise pendant son entraînement, ou parce qu’elle l’a trouvée en cherchant sur le web au moment de la question. Ce ne sont ni les mêmes leviers ni les mêmes risques. Abysia mesure donc deux visibilités distinctes, pour que chaque chiffre dise d’où elle vient.

Comment la comparaison aux concurrents est-elle qualifiée ?

Une différence entre deux marques peut venir du hasard de l’échantillon. Abysia affiche « écart confirmé » quand la différence dépasse ce hasard, et « dans la marge d’erreur » sinon. Comparer plusieurs marques multiplie les risques de fausse alerte : une correction des comparaisons multiples est donc appliquée.

Pourquoi la méthode est-elle versionnée et figée ?

Une version de méthode est un état figé des règles de mesure : deux mesures ne se comparent que si elles viennent de la même version. Chaque version est identifiée, datée et ne change pas en cours de route. Quand la méthode évolue, une nouvelle version est publiée et ses chiffres ne se mélangent pas à ceux de la précédente.

Comment lire un résultat affiché par Abysia ?

Un résultat est toujours accompagné de ce qui permet de le juger : sa marge d’erreur, sa taille d’échantillon, ou la raison pour laquelle aucun chiffre n’est donné. Le tableau ci-dessous présente six cas, sur une marque fictive dont les données sont inventées pour illustrer l’affichage.

Que garde-t-on privé, et pourquoi ?

Abysia publie le pourquoi et les garanties de sa mesure, pas son détail de fabrication. Ce détail est le fruit d’un long travail et se copierait facilement. Les garanties, elles, restent vérifiables dans chaque résultat, et c’est ce qui compte pour décider : le tableau ci-dessous résume ce partage.

Quelle est la version actuelle de la méthode ?

Chaque version de la méthode est identifiée par un numéro. La version actuelle est la 2.2. Quand une nouvelle version sera publiée, cette page l’indiquera, et les chiffres de deux versions différentes ne seront jamais comparés entre eux, pour que chaque évolution reste lisible.