Comment mesurer l’effet d’une action sans se raconter d’histoire ?
Un avant/après ne prouve pas qu’une action a eu un effet : il montre qu’un taux a changé, et un taux change aussi sans cause, ou pour une autre. Pour ne pas se raconter d’histoire, il faut écrire l’hypothèse avant, garder la même méthode, comparer des intervalles, utiliser un témoin, et accepter la réponse « dans la marge d’erreur ».
Pourquoi un avant/après ne prouve-t-il pas l’effet d’une action ?
Parce que beaucoup de choses changent entre deux mesures, et qu’une seule est l’action. Une IA ne répond pas toujours la même chose, les services changent de modèle, de mode et de sources, et l’échantillon varie par hasard. Un taux qui monte après une action peut avoir monté sans elle.
| Explication concurrente | Pourquoi elle est plausible | Comment l’écarter |
|---|---|---|
| Hasard de l’échantillon | Une IA varie d’un essai à l’autre : la référence de l’API d’OpenAI décrit une sortie plus ou moins aléatoire selon la température | Comparer des intervalles de confiance, jamais des taux seuls |
| Changement de modèle ou de mode | Perplexity laisse choisir le modèle ; l’aide de Claude liste plusieurs modèles compatibles avec la recherche | Noter le service, le mode et le modèle à chaque relevé |
| Résultats de recherche qui changent | Google indique que les réponses et les liens de ses fonctions d’IA varient | Dater chaque relevé et mesurer en parallèle un témoin |
| Autre action menée en même temps | Plusieurs changements peuvent coïncider | Tenir un journal daté des actions |
| Changement de méthode de mesure | Deux versions d’une méthode ne se comparent pas | Garder la même version pour toute la série |
Comment se préparer avant d’agir ?
En écrivant ce que l’on attend avant de le voir. Une hypothèse écrite à l’avance, avec le critère qui la validerait, empêche de choisir après coup l’indicateur qui flatte. Cela prend quelques minutes et protège contre la tentation, humaine, de lire un bruit comme un signal.
- Une hypothèse écrite : quelle action, quel indicateur, dans quel sens.
- Un critère de succès chiffré à l’avance : l’écart attendu, et la marge d’erreur qui le rendrait lisible.
- Un seul indicateur principal ; les autres sont explicitement secondaires.
- Un témoin : un ensemble de questions ou une marque que l’action ne touche pas, mesuré dans les mêmes conditions.
- Une date de relevé fixée d’avance, et un nombre de réponses suffisant (voir combien de réponses pour conclure).
- La même méthode, dans la même version, avant et après.
Comment lire un avant/après, avec et sans témoin ?
En comparant les intervalles, puis en regardant le témoin. Si les intervalles avant et après se recouvrent, l’effet n’est pas établi. S’ils se séparent, l’écart est confirmé, mais il faut encore vérifier que le témoin n’a pas bougé de la même façon, faute de quoi un changement du service suffirait à l’expliquer.
Exemple chiffré : marques fictives, données inventées pour illustrer la lecture. Intervalles de Wilson à 95 %, 120 réponses par mesure, même méthode.
Deux marques fictives mènent chacune une action. Une troisième, que l’action ne touche pas, sert de témoin.
| Marque | Avant | Après | Intervalles | Lecture |
|---|---|---|---|---|
| Marque Alpha (action menée) | 30,0 % (de 22,5 % à 38,7 %) | 36,7 % (de 28,6 % à 45,6 %) | Se recouvrent | Dans la marge d’erreur : l’effet n’est pas établi |
| Marque Bêta (action menée) | 20,0 % (de 13,8 % à 28,0 %) | 40,0 % (de 31,7 % à 48,9 %) | Séparés | Écart confirmé |
| Marque Gamma (témoin) | 25,0 % (de 18,1 % à 33,4 %) | 27,5 % (de 20,3 % à 36,1 %) | Se recouvrent | Stable : pas de changement général du service |
Pour la Marque Bêta, l’écart est confirmé, et le témoin est resté stable : l’explication par un changement du service perd du poids. On peut écrire « la hausse est associée à l’action ». On ne peut pas encore écrire qu’elle en est la cause.
La Marque Alpha montre le cas le plus fréquent et le plus mal vécu : une hausse de sept points qui ressemble à un succès et qui reste dans la marge d’erreur. La seule formulation honnête est que l’effet n’est pas établi avec cet échantillon.
Pourquoi limiter le nombre d’indicateurs regardés ?
Parce que chaque indicateur regardé est une occasion de trouver un faux effet. Si l’on suit plusieurs services, deux visibilités et plusieurs marques, on multiplie les comparaisons, et la probabilité d’en trouver une qui sorte par hasard augmente vite. La parade est de choisir un indicateur principal à l’avance, ou de corriger les comparaisons multiples.
La page de référence donne la formule du risque, et le manuel du NIST explique que répéter des comparaisons ne respecte pas, en général, le niveau de signification annoncé pour l’ensemble.
Calcul illustratif : indicateurs inventés, comparaisons supposées indépendantes, seuil de 5 % par comparaison.
Une équipe suit huit indicateurs après une action : quatre services, chacun avec les deux visibilités. Si aucun effet réel n’existe, la probabilité d’en voir au moins un « significatif » par hasard est d’environ 34 % (1 − 0,95^8). Elle ne doit pas s’étonner d’en trouver un.
Que peut-on écrire honnêtement ?
Trois formulations, selon ce que la mesure permet. Elles évitent de promettre ce que les données ne soutiennent pas. La règle est simple : le verbe doit correspondre à la preuve, et la marge d’erreur doit rester visible, y compris dans un rapport destiné à un décideur pressé.
| Ce que montre la mesure | Formulation honnête |
|---|---|
| Intervalles séparés, témoin stable, méthode inchangée | « Le taux a augmenté de façon confirmée après l’action ; la hausse lui est associée. » |
| Intervalles qui se recouvrent | « L’écart observé est dans la marge d’erreur ; l’effet n’est pas établi. » |
| Échantillon trop petit | « Signal insuffisant : on ne conclut pas. » |
| Intervalles séparés mais témoin qui a bougé aussi | « Le taux a changé, mais un changement général du service n’est pas écarté. » |
Les intervalles de cet article sont ceux de la méthode de Wilson, et la page de référence rappelle que l’approximation simple devient peu fiable sur un petit échantillon.
Questions fréquentes
Combien de temps faut-il attendre avant de mesurer ?
Aucune source consultée ne donne de délai pour l’effet d’une action sur les réponses des IA. Le seul délai documenté concerne la prise en compte de robots.txt, environ 24 heures pour la recherche d’OpenAI. Le reste se décide à l’avance : une durée fixée, un nombre de réponses suffisant, puis une seule lecture. (source)
Peut-on attribuer une hausse à une action ?
On peut dire qu’une hausse est associée à une action quand l’écart est confirmé, que la méthode n’a pas changé et qu’un témoin est resté stable. Dire qu’elle est causée par l’action demande davantage : l’exclusion des autres explications, ce qu’un avant/après seul ne permet pas.
Faut-il un groupe témoin ?
C’est fortement conseillé. Un témoin est une marque, un thème ou un ensemble de questions que l’action n’a pas touché, mesuré dans les mêmes conditions. S’il bouge comme la marque traitée, l’explication la plus simple est un changement du service, pas de l’action.
Que faire si l’écart est dans la marge d’erreur ?
Le dire. Soit on poursuit avec davantage de réponses, soit on conclut que l’effet, s’il existe, est trop faible pour être établi avec cet échantillon. Ne pas conclure est un résultat valable, et c’est mieux qu’une conclusion fragile.
Un changement de modèle peut-il fausser un avant/après ?
Oui. Perplexity indique que son mode Pro Search permet de choisir le modèle qui rédige la réponse, ce qui change les conditions d’une mesure. Il faut noter le service, le mode et le modèle à chaque relevé, et ne comparer que des mesures faites dans les mêmes conditions. (source)
Ce qui a changé
- : Publication.
Sources
- 7.2.4.1. Confidence intervals (proportion de défauts) (NIST/SEMATECH e-Handbook of Statistical Methods), vérifiée le 23 octobre 2026
- Multiple comparisons problem (Wikipedia), vérifiée le 23 octobre 2026
- 7.4.7. How can we make multiple comparisons? (NIST/SEMATECH e-Handbook of Statistical Methods), vérifiée le 23 octobre 2026
- Binomial proportion confidence interval (Wikipedia), vérifiée le 23 octobre 2026
- How does Perplexity work? (Perplexity), vérifiée le 23 octobre 2026
- Enable and use web search (Claude Help Center (Anthropic)), vérifiée le 23 octobre 2026
- AI features and your website (Google Search Central), vérifiée le 23 octobre 2026
- Create a model response (référence de l’API Responses) (OpenAI), vérifiée le 23 octobre 2026
- Overview of OpenAI Crawlers (OpenAI), vérifiée le 23 octobre 2026
À lire aussi
- Rubrique : Agir (toutes les ressources)
- Les réponses des IA varient : pourquoi mesurer en continu ?
- Comment traduire un résultat de visibilité IA en actions SEO ?
- Pourquoi un taux de mention sans marge d’erreur ne veut rien dire ?
- Combien de réponses d’IA faut-il pour conclure ?
- Glossaire : Comparaisons multiples, Dans la marge d’erreur, Écart confirmé, Version de méthode