Comment se comparer à ses concurrents dans les réponses des IA ?

Qu’est-ce qu’une comparaison valable entre deux marques ?

C’est une comparaison où tout, sauf la marque, est identique : mêmes questions, qui ne nomment personne, même service, même mode et même modèle, même période, même version de méthode. Si une seule de ces conditions diffère, l’écart observé peut venir de la condition et non de la marque.

• Les questions sont les mêmes pour toutes les marques, et ne nomment aucune marque ni aucun concurrent.
• Les réponses viennent du même service, du même mode et du même modèle, notés avec chaque réponse.
• Les mesures datent de la même période : une IA et ses résultats de recherche évoluent.
• La méthode est la même, dans la même version : deux versions ne se comparent jamais.
• Chaque taux est affiché avec sa marge d’erreur et le nombre de réponses analysées.

Quand un écart est-il confirmé, et quand reste-t-il dans la marge d’erreur ?

Un écart confirmé est une différence entre deux marques qui dépasse ce que le hasard de l’échantillon suffit à expliquer. Une différence est dans la marge d’erreur quand elle ne se distingue pas du hasard de l’échantillon. Le verdict dépend de l’écart, du nombre de réponses et du nombre de comparaisons menées en même temps.

Le verdict « dans la marge d’erreur » n’est pas un échec de la mesure. C’est une information : avec ces réponses, il est impossible de dire quelle marque est devant. Il vaut mieux l’écrire que fabriquer un classement que les données ne soutiennent pas.

Pourquoi comparer plusieurs marques exige-t-il une correction ?

Parce que le nombre de comparaisons croît plus vite que le nombre de marques. Avec trois marques, il y a trois paires ; avec huit, vingt-huit. Chaque paire est une occasion de voir un faux écart. Sans correction, la probabilité qu’au moins un écart apparent soit un faux positif devient vite élevée.

Le manuel du NIST le dit en une phrase : répéter des comparaisons deux à deux pour toutes les paires ne fonctionne pas, en général, parce que le niveau de signification global n’est pas celui que l’on croit. La page de référence donne la formule du risque, 1 − (1 − α)^m pour m comparaisons indépendantes, et la correction de Bonferroni, qui divise le seuil par m.

Comparaisons supposées indépendantes, seuil de 5 % par comparaison. La dernière colonne divise ce seuil par le nombre de paires, une correction classique donnée en illustration : cette table ne dit pas laquelle applique Abysia. Calcul public, refait par un script du dépôt (NIST/SEMATECH e-Handbook of Statistical Methods, Wikipedia).

Le tableau va de deux à vingt marques : au-delà de quelques marques, le risque d’un faux écart devient presque certain sans correction, alors que le seuil exigé de chaque paire devient très étroit avec elle. La dernière colonne illustre l’une des corrections classiques ; elle ne dit pas laquelle applique Abysia.

Comment la correction change-t-elle le verdict sur un exemple ?

Elle retire les écarts que le hasard suffisait à produire. L’exemple suivant compare quatre marques fictives sur le même nombre de réponses : sans correction, trois écarts sur six paires paraissent significatifs ; après correction, un seul le reste, et la conclusion change.

Lecture : sans correction, un rapport affirmerait que Delta est derrière Alpha, Bêta et Gamma. Avec correction, seul l’écart entre Alpha et Delta est confirmé ; Bêta et Gamma ne se distinguent pas de Delta, ni d’Alpha. La conclusion change radicalement, et c’est la seconde qui est honnête.

Abysia applique une correction des comparaisons multiples dans ses comparaisons, sans en détailler la méthode.