Les réponses des IA varient : pourquoi mesurer en continu ?

Pourquoi une IA ne répond-elle pas toujours la même chose ?

Parce que plusieurs choses varient en même temps, et que les documentations en décrivent plusieurs. Le modèle tire ses mots au hasard dans une certaine mesure ; la recherche web peut se déclencher ou non ; les pages trouvées changent ; le modèle et le mode utilisés peuvent différer. Chacune de ces variations s’ajoute aux autres.

Pourquoi deux personnes n’obtiennent-elles pas la même réponse ?

Parce que les conditions de leur question ne sont presque jamais identiques. Le hasard de l’échantillonnage, la recherche déclenchée ou non, le modèle et le mode choisis, et le lieu de l’utilisateur varient d’une personne à l’autre. D’autres facteurs souvent évoqués, comme la personnalisation, ne sont documentés par aucune des sources consultées.

Deux réponses différentes à la même question ne se contredisent donc pas : elles viennent de deux tirages, parfois de deux conditions. C’est pourquoi une mesure travaille sur un échantillon de réponses obtenues dans des conditions notées, et jamais sur la réponse d’une seule personne.

Comment distinguer une vraie évolution d’un simple bruit ?

En lisant chaque point avec sa marge d’erreur, et en ne concluant que si l’intervalle du dernier relevé se sépare nettement des précédents. Un taux qui monte de trois points entre deux semaines peut être du bruit pur, alors qu’une chute durable dont les intervalles ne se recouvrent plus est un signal.

Les six premiers relevés oscillent autour d’un même niveau, une variation qui ressemble à une tendance quand on la lit à l’œil nu, et qui n’en est pas une : tous les intervalles se recouvrent. Seul le septième se sépare du cumul des précédents. C’est ce qu’il faut chercher : un point qui sort de la marge d’erreur, pas un point qui bouge.

À quelle fréquence mesurer, et que fixer à l’avance ?

À un rythme choisi avant de commencer, identique d’un relevé à l’autre. Un rythme trop rapide produit des échantillons trop petits pour être lus ; un rythme trop lent laisse passer une évolution jusqu’à ce qu’elle soit coûteuse. Ce qui compte est que chaque point soit comparable aux autres.

• La méthode est figée pour toute la série : si elle change, une nouvelle série commence, et les deux ne se comparent pas.
• Les questions, les services, les modes et les modèles sont les mêmes d’un relevé à l’autre, ou clairement notés.
• Chaque relevé a un échantillon suffisant pour produire une marge d’erreur utile ; sinon il est présenté comme « signal insuffisant ».
• Chaque réponse est datée, pour que l’on sache si une évolution précède ou suit un événement.
• Les réponses en erreur ne sont jamais comptées comme des absences : elles rendent le relevé partiel.

Que faire d’un changement qui sort de la marge d’erreur ?

D’abord vérifier qu’il ne vient pas de la mesure : une condition qui a changé, un service qui a modifié son mode, une erreur de détection. Ensuite seulement chercher une cause côté marque ou côté marché. Une chute confirmée par la mesure reste une constatation : elle n’explique pas pourquoi elle s’est produite.

À retenir : la mesure en continu sert à voir un signal quand il existe, pas à en fabriquer un à partir du bruit.

Ma marque a disparu des réponses : la baisse est-elle réelle ou due au bruit ?

Elle n’est réelle que si elle sort de la marge d’erreur et se répète. Avant cela, elle peut venir du hasard, d’une condition de mesure qui a changé, d’un accès refusé ou d’un concurrent. L’ordre de vérification va du moins coûteux au plus incertain, et le tableau montre à partir de quel nombre de réponses une baisse se lit.

Marque fictive, même méthode aux deux relevés ; deux intervalles qui se recouvrent se lisent « dans la marge d’erreur », deux intervalles séparés « écart confirmé ». Calcul public, refait par un script du dépôt (NIST/SEMATECH e-Handbook of Statistical Methods, Wikipedia).

À huit points de baisse, seul le plus grand échantillon sépare les deux intervalles : sur de petits relevés, une disparition apparente reste dans la marge d’erreur et ne prouve rien. L’arbre ci-dessous ordonne les vérifications à faire ensuite.

1. La baisse sort-elle de la marge d’erreur, sur le même nombre de réponses à chaque relevé ?

   • Non : le bruit n’est pas écarté ; continuer à mesurer, comme le décrit la fréquence ci-dessus.
   • Oui : question suivante.

     Les conditions de la mesure sont-elles restées les mêmes (service, mode, modèle, version de la méthode) ?

     • Non : refaire la mesure à conditions égales avant de conclure ; voir mesurer l’effet d’une action.
     • Oui : question suivante.

       Le site est-il resté accessible aux robots de recherche (robots.txt, pare-feu, réponse du serveur) ?

       • Non : corriger l’accès en premier ; voir l’accès des robots d’IA.
       • Oui : question suivante.

         Un concurrent est-il passé devant, avec un écart confirmé ?

         • Oui : lire l’écart avec la correction des comparaisons multiples ; voir se comparer aux concurrents.
         • Non : regarder si la baisse touche la mémoire, la recherche ou les deux ; voir mémoire du modèle ou recherche en direct.