Pourquoi un taux de mention sans marge d’erreur ne veut rien dire ?

Qu’est-ce qu’un taux de mention, et pourquoi n’est-il qu’une estimation ?

Le taux de mention est la proportion de réponses analysées qui nomment la marque. Comme une IA ne répond pas toujours la même chose, ce taux dépend des réponses obtenues : une autre série donnerait un autre résultat. Il estime une valeur sous-jacente, la probabilité que la marque soit citée, qu’aucune mesure ne donne exactement.

Cette incertitude n’est pas un défaut de l’outil. Elle tient à la nature des réponses, et elle se calcule. La page de référence du NIST sur les intervalles de confiance d’une proportion en présente les méthodes, dont celle de Wilson, que cet article utilise dans ses exemples.

Que dit la marge d’erreur, concrètement ?

Elle dit dans quelle plage la valeur réelle se trouve probablement. Avec trente pour cent de réponses citant la marque sur cent vingt analysées, la valeur réelle est compatible, selon la méthode de Wilson, avec tout taux compris entre 22,5 % et 38,7 % environ. Le taux observé est le centre de cette plage, pas une certitude.

Deux enseignements. D’abord, le même taux peut être très précis ou presque inutile selon l’échantillon. Ensuite, pour diviser la marge par deux, il faut environ quatre fois plus de réponses : la précision coûte de plus en plus cher.

Comment lire la différence entre deux marques ?

Il faut comparer les intervalles, pas seulement les taux. Deux marques dont les taux diffèrent de quelques points semblent séparées, mais si leurs intervalles de confiance se chevauchent, l’écart est dans la marge d’erreur : on ne peut pas dire laquelle est devant. Un écart n’est confirmé que s’il dépasse ce que le hasard de l’échantillon suffit à expliquer.

Le chevauchement des intervalles est un contrôle grossier. Un test statistique adapté peut parfois confirmer un écart malgré un léger recouvrement, ou au contraire en refuser un qui semblait net quand on compare plusieurs marques à la fois. C’est pourquoi une comparaison honnête passe par un test et par une correction des comparaisons multiples, dont Abysia ne détaille pas la méthode.

Quelles sont les limites de ces calculs ?

Ces formules supposent des réponses indépendantes les unes des autres. En pratique, cette hypothèse est à vérifier : plus les réponses viennent de formulations proches, moins elles apportent d’information nouvelle, et plus la marge réelle risque d’excéder celle des formules simples. Les marges affichées sont donc des minima, pas des plafonds.

Une approximation simple de la marge, dite de Wald, devient peu fiable quand l’échantillon est petit ou que le taux est proche de zéro ou de un, d’après la page de référence. C’est pour cela que les exemples de cet article utilisent la méthode de Wilson.

• Toujours afficher le taux avec sa marge d’erreur et le nombre de réponses analysées.
• Écrire « signal insuffisant » plutôt qu’un chiffre quand l’échantillon est trop petit pour conclure.
• Ne jamais conclure qu’une marque devance une autre quand les intervalles se recouvrent largement.
• Ne comparer que des mesures faites avec la même méthode et les mêmes conditions.
• Garder en tête que des réponses proches ne sont pas des observations indépendantes.