Notoriété spontanée ou notoriété assistée : laquelle mesurer dans les IA ?

Que sont la notoriété spontanée et la notoriété assistée ?

La notoriété spontanée est la part des réponses d’une IA qui mentionnent une marque sans que la question la nomme, ni elle ni ses concurrents. La notoriété assistée est la part des réponses qui l’évoquent quand la question la nomme. La première dit si l’IA pense à la marque d’elle-même ; la seconde, ce qu’elle en sait ou en affirme.

Les deux termes sont empruntés au marketing, où l’on distingue la marque que l’on cite sans aide de celle que l’on reconnaît quand on la montre. Appliqués aux IA, ils décrivent deux mesures qui n’ont ni la même question ni la même lecture.

Pourquoi le taux principal doit-il être spontané ?

Parce que nommer la marque fausse ce que l’on cherche à mesurer. Si la question contient son nom, la réponse la mentionne presque toujours : le taux obtenu mesure la capacité de l’IA à parler d’une marque qu’on lui montre, pas sa présence dans l’esprit du modèle quand un client cherche une solution sans la connaître.

La formulation peut aussi changer le chemin suivi par l’IA. D’après la documentation de l’API d’OpenAI, le modèle peut choisir de chercher ou non selon le contenu de la demande, et la documentation de l’API de Claude indique que Claude détermine s’il cherche à partir de la demande. Une question qui nomme la marque n’emprunte donc pas forcément le même chemin qu’une question générique.

Quelle question pour quel objectif ?

Le tableau suivant donne un exemple de chaque type de question sur une marque fictive, et l’usage que l’on peut en faire. L’exemple est volontairement générique : il illustre la différence entre les types, sans préjuger de la façon dont une mesure réelle construit ses questions.

Seules les deux premières lignes relèvent de la notoriété spontanée. La troisième répond à un autre besoin : elle ne dit pas si la marque est citée de sa propre initiative.

À quoi sert la notoriété assistée ?

À contrôler ce que l’IA dit d’une marque qu’on lui nomme. Elle permet de repérer une description inexacte, une confusion avec un homonyme ou une marque inconnue du modèle. Elle ne remplace pas la notoriété spontanée, parce qu’elle ne dit pas si la marque est citée sans que le client la connaisse déjà.

Pourquoi une question qui nomme la marque fausse-t-elle la mesure ?

Parce que le nom suffit à orienter la réponse : une question qui nomme la marque, un concurrent ou un détail qui la désigne suggère à l’IA ce qu’il faut dire. Le taux mesure alors une réaction à cette suggestion, non une présence spontanée. Six formulations d’une marque fictive vont de la plus suggestive à la plus neutre.

Ces six lignes illustrent la différence entre une question suggestive et une question neutre. Elles ne décrivent pas la construction des questions d’une mesure réelle, qui reste propre à chaque méthode.

Comment formuler des questions spontanées valables ?

Quelques règles générales suffisent pour éviter les erreurs les plus fréquentes. Aucune ne dépend d’un outil, et chacune se vérifie en relisant la question. Elles s’appliquent aussi bien à un test manuel qu’à une mesure automatisée, à condition d’être suivies à la lettre sur toutes les questions, pas seulement sur les premières.

• La question ne contient ni le nom de la marque ni celui de ses concurrents.
• Elle ne contient pas non plus un détail qui désigne une seule marque : un produit phare, un slogan, une ville d’origine.
• Elle décrit un besoin, dans les mots qu’un client emploierait, sans consigne de recherche.
• Elle existe en plusieurs formulations, parce qu’une seule peut avantager ou défavoriser une marque.
• Chaque réponse est enregistrée avec ses conditions : service, mode, modèle, date.

Ce qui précède reste volontairement général : la construction fine des questions d’une mesure, leur nombre et leurs variantes font partie du travail propre à chaque méthode.