Combien de réponses d’IA faut-il pour conclure ?

Par Gaétan Berthelot, fondateur d’Abysia · Publié le 23 octobre 2026 · Mis à jour le 24 octobre 2026

Cela dépend de la précision que l’on veut, et le coût de la précision augmente vite : pour diviser la marge d’erreur par deux, il faut environ quatre fois plus de réponses. Ce qui compte est le nombre de réponses analysées, pas le nombre de questions. Quand il est trop faible, la seule conclusion honnête est « signal insuffisant ».

De quoi dépend le nombre de réponses nécessaires ?

De la précision visée, de la valeur du taux et de l’indépendance des réponses. Plus on veut une marge étroite, plus il faut de réponses, et le gain ralentit à mesure que l’échantillon grandit. La marge est la plus large pour un taux voisin de la moitié.

Le calcul repose sur la formule de l’intervalle de confiance d’une proportion, présentée dans la page de référence du NIST. Elle suppose des réponses indépendantes, ce qu’il faut garder à l’esprit pour des réponses d’IA à des questions proches.

Quelle marge obtient-on avec 30, 100 ou 1 000 réponses ?

Les chiffres du tableau suivant sont des calculs, pas des mesures : ils donnent la largeur de l’intervalle pour le cas le plus défavorable, celui d’un taux voisin de la moitié. Ils illustrent le principe général, sans rien dire du nombre de réponses d’une mesure réelle, qui dépend de sa méthode.

Calcul illustratif sur une marque fictive : la Marque Alpha est citée dans la moitié des réponses analysées. Intervalles de Wilson à 95 %.

Réponses analysées	Taux observé	Intervalle de confiance	Demi-largeur
30	50 %	de 33,2 % à 66,8 %	environ ± 17 points
50	50 %	de 36,6 % à 63,4 %	environ ± 13 points
100	50 %	de 40,4 % à 59,6 %	environ ± 10 points
200	50 %	de 43,1 % à 56,9 %	environ ± 7 points
400	50 %	de 45,1 % à 54,9 %	environ ± 5 points
1 000	50 %	de 46,9 % à 53,1 %	environ ± 3 points

Pour viser une marge de plus ou moins 5 points avec un taux voisin de 50 %, la formule de l’intervalle simple donne environ 385 réponses ; pour plus ou moins 3 points, environ 1 070 ; pour plus ou moins 10 points, environ 100.

Le tableau montre des rendements décroissants : quadrupler le nombre de réponses divise la marge par deux, mais l’étape suivante ne gagne plus que quelques points. Au-delà d’un certain point, une réponse de plus apporte peu, alors qu’elle coûte autant.

Combien de réponses faut-il par marque pour voir un écart de N points ?

Beaucoup plus que pour mesurer un seul taux, et d’autant plus que l’écart visé est petit. Pour qu’un écart soit lisible, les intervalles des deux marques ne doivent plus se recouvrir. Le tableau donne le nombre de réponses par marque, selon le taux de départ et l’écart visé, pour la lecture « écart confirmé » de ce site.

Réponses par marque pour qu’un écart se lise, selon le taux de départ et l’écart visé
Taux de départ	Écart de 5 points	Écart de 10 points	Écart de 15 points	Écart de 20 points
10 %	environ 680	environ 200	environ 100	environ 70
20 %	environ 1 080	environ 290	environ 140	environ 90
30 %	environ 1 350	environ 350	environ 170	environ 100
50 %	environ 1 540	environ 390	environ 170	environ 100

Un écart se lit quand les intervalles de Wilson à 95 % des deux marques ne se recouvrent plus ; nombres arrondis à la dizaine supérieure. C’est la règle de lecture « écart confirmé » du site, pas un test formel. Calcul public, refait par un script du dépôt (NIST/SEMATECH e-Handbook of Statistical Methods, Wikipedia).

Diviser l’écart visé par deux fait plus que doubler le nombre de réponses nécessaires : la table le montre colonne à colonne. Elle ne dit rien du nombre de réponses d’une mesure réelle, qui dépend de sa méthode ; elle sert à juger si un écart espéré est lisible avant de le chercher.

Pourquoi le nombre de réponses n’est-il pas le nombre de questions ?

Parce que la précision vient des réponses analysées, et que chaque question peut en produire plusieurs. Poser cent questions une seule fois et poser dix questions dix fois donnent le même nombre de réponses, mais pas la même information : dans le second cas, les réponses viennent de seulement dix formulations.

Les formules supposent que les réponses sont indépendantes. Ce n’est qu’à peu près vrai pour des réponses à des questions variées, et nettement moins pour des répétitions d’une même question. Il faut donc diversifier les formulations autant que multiplier les essais, et traiter les marges calculées comme des minima.

Que faire quand on n’a pas assez de réponses ?

Ne pas publier de chiffre. Une marge très large ne permet de rien décider, et un chiffre précis en apparence induit en erreur : il suggère une certitude que les données n’ont pas. La conduite à tenir dépend de la situation, résumée dans le tableau ci-dessous.

Situation	Conduite honnête
Très peu de réponses analysées	Écrire « signal insuffisant », sans chiffre
Échantillon moyen, marge encore large	Publier le taux avec sa marge, sans le comparer finement à un autre
Échantillon large, intervalles séparés	Comparer, et qualifier l’écart « écart confirmé »
Échantillon large, intervalles qui se recouvrent	Qualifier l’écart « dans la marge d’erreur »
Une IA a renvoyé des erreurs	Afficher une mesure partielle, jamais un zéro

Le principe est le même dans tous les cas : le chiffre n’est publié qu’avec ce qui permet de le juger. La page de référence sur les intervalles d’une proportion rappelle d’ailleurs qu’une approximation simple devient peu fiable sur petit échantillon.

Questions fréquentes

Pourquoi ne pas simplement poser mille questions ?

Parce que le coût et le temps augmentent vite, et parce que le nombre de questions n’est pas ce qui fixe la précision : ce sont les réponses analysées, et elles ne sont pas toutes indépendantes. Mille questions proches peuvent apporter moins d’information qu’il n’y paraît.

Que veut dire « signal insuffisant » ?

Que le nombre de réponses analysées est sous un seuil minimal : la marge d’erreur serait trop large pour conclure. Abysia n’affiche alors aucun chiffre plutôt qu’un faux chiffre précis en apparence. La valeur du seuil reste privée.

Un échantillon plus grand assure-t-il un résultat juste ?

Non. La marge d’erreur ne mesure que l’incertitude due au hasard de l’échantillon. Elle ne corrige ni une question qui nomme la marque, ni une mesure contaminée, ni une erreur de détection : un grand échantillon biaisé reste biaisé.

Combien de réponses faut-il pour comparer deux marques ?

Davantage que pour estimer une seule marque, et d’autant plus que les deux marques sont proches : il faut que les intervalles de confiance se séparent. Si l’écart réel est faible, il faut beaucoup de réponses pour le confirmer.

Ce qui a changé

24 octobre 2026 : Liens « À lire aussi » mis à jour vers les nouvelles pages du lot F.
24 octobre 2026 : Section ajoutée : combien de réponses par marque pour voir un écart de N points (tableau calculé selon le taux de départ et l’écart visé).
24 octobre 2026 : Liens « À lire aussi » mis à jour vers les nouvelles pages du lot E.
23 octobre 2026 : Publication.

Sources

7.2.4.1. Confidence intervals (proportion de défauts) (NIST/SEMATECH e-Handbook of Statistical Methods), vérifiée le 23 octobre 2026
Binomial proportion confidence interval (Wikipedia), vérifiée le 23 octobre 2026