Claude peut mentir sans en avoir l'air : voici comment l'empêcher

UNE TÂCHE SIMPLE DEVIENT UN PIÈGE

Il y a quelques semaines, on m’a demandé de rédiger un rapport PDF détaillé sur les retours clients pour un trimestre. Le brief était clair : analyser des milliers de commentaires non structurés et en extraire les tendances par catégorie de produits. J’ai donné ces instructions à Claude, un modèle d’intelligence artificielle, et j’ai lancé l’analyse sur un jeu de données public. Le résultat était parfait : des graphiques, des pourcentages, des phrases bien tournées. J’ai envoyé le document à mon équipe.

Sauf que… en relisant le rapport avec mon responsable, nous avons découvert des erreurs de plus en plus inquiétantes. Pas des hallucinations flagrantes, non. Des mensonges par omission, des interprétations trop sûres d’elles-mêmes. Par exemple, le rapport affirmait :

En réalité, cette hausse provenait presque entièrement d’une seule robe populaire lancée en milieu de trimestre… avec un défaut de taille connu. Une seule référence. Pas toute la catégorie. Claude n’en savait rien, et mon prompt initial ne l’avait pas incité à vérifier ce genre de détail.

Voici comment j’ai corrigé le tir en créant une compétence Claude dédiée à l’analyse des retours clients. Je vais vous montrer les quatre lignes de code qui changent tout, et comment les améliorer en continu.

LE JEU DE DONNÉES : 23 000 VRAIS COMMENTAIRES DE CLIENTS

Pour des raisons de confidentialité, je ne peux pas partager les données réelles de mon entreprise. À la place, j’utilise un jeu de données public disponible sur Kaggle : Women’s E-Commerce Clothing Reviews. Ce jeu contient 23 000 commentaires anonymisés de vraies clientes, répartis dans plusieurs catégories (Hauts, Robes, Bas, Vestes, etc.). Chaque commentaire est accompagné d’une note sur 5 étoiles et de métadonnées sur le produit.

Les noms de marques ont été remplacés par le mot « revendeur » pour préserver l’anonymat. Mon objectif : simuler l’analyse d’un rapport trimestriel de satisfaction client pour une boutique en ligne de vêtements féminins.

Voici le prompt que j’ai d’abord utilisé pour créer la compétence initiale :

Tu es un analyste de données rédigeant un rapport trimestriel de satisfaction client pour un revendeur de vêtements féminins en ligne. À partir des commentaires clients de ce trimestre (texte, notes, catégorie), rédige un rapport professionnel pour les parties prenantes incluant :

– Les thèmes principaux par catégorie (Hauts, Robes, Bas, Vestes)

Quand tu auras terminé cette tâche, crée une compétence intitulée reviews-analysis et enregistre tes instructions dedans.

Résultat ? Voici ce que Claude a produit sur un trimestre où la catégorie Robes avait reçu un afflux de commentaires négatifs :

La réalité ? Une seule robe (un seul modèle) lancée en semaine 7 avec un défaut de qualité. Les commentaires négatifs concernaient presque exclusivement ce produit. Le reste de la catégorie Robes fonctionnait très bien. Claude n’avait aucun moyen de le savoir, et sans contexte supplémentaire, il a comblé les lacunes avec la narration la plus plausible possible.

LA PREMIÈRE LIGNE QUI SAUVE TOUT : INTERDIRE LES CAUSES NON VÉRIFIÉES

Vous n’avez pas accès aux calendriers de lancement, aux registres d’inventaire, aux campagnes promotionnelles ou aux historiques par référence. Ne liez pas les tendances au niveau des catégories à des causes globales. Signalez uniquement les motifs observés dans les textes ; n’expliquez pas pourquoi ils existent, sauf si les commentaires le disent explicitement.

Cette simple instruction élimine une grande partie des interprétations trop sûres. Sans elle, Claude cherchera toujours une narration stratégique, car c’est ce qu’un bon analyste ferait… et Claude essaie de jouer ce rôle.

Le problème ? Un bon analyste sait aussi reconnaître ce qu’il ignore. Il dirait : « Nous observons une hausse des plaintes concernant les tailles dans la catégorie Robes ce trimestre. Cela pourrait être isolé à un lancement récent, mais il faudrait des données par référence pour le confirmer. » Claude ne dira jamais ça… à moins que vous ne le lui ordonniez.

LA DEUXIÈME LIGNE : TUER LE MOT « SIGNIFICATIF »

Claude adore le mot « significatif ». Il l’utilise tout le temps, et presque jamais pour justifier son choix.

Voici la règle à imposer : n’utilisez le terme « significatif » que si l’un de ces deux critères est rempli :

• Un changement de plus de 15 points de pourcentage dans le ratio positif/négatif par rapport au trimestre précédent.
• Un thème apparaît dans plus de 20 % des commentaires d’une catégorie donnée.

Pour les signaux plus faibles, utilisez des formulations comme « légère hausse » ou « augmentation mineure ». Évitez absolument les mots « notable » ou « significatif » en dessous de ces seuils. Toujours indiquer la valeur numérique exacte du changement en même temps que votre affirmation.

Sans cette règle, Claude qualifierait à la fois une hausse de 3 commentaires négatifs et une chute de 30 points de sentiment de « significative ». Vos parties prenantes finiront par ignorer les alertes importantes, et quand quelque chose de vraiment grave arrivera, elles ne le sauront pas.

Vous pouvez ajuster les seuils de 15 % et 20 % selon vos données. L’important est d’ancrer le langage de Claude dans quelque chose de concret.

LA TROISIÈME LIGNE : AFFICHER UN NIVEAU DE CONFIANCE POUR CHAQUE AFFIRMATION

Avant chaque insight, ajoutez un label de confiance entre crochets : [Données solides], [Possible] ou [Spéculatif].

Utilisez [Données solides] uniquement lorsque l’insight découle directement du texte des commentaires. Utilisez [Possible] quand l’insight est une inférence raisonnable à partir des commentaires. Utilisez [Spéculatif] quand vous faites des hypothèses sur les causes ou le contexte absentes des commentaires.

Quand j’ai ajouté cette ligne pour la première fois, je m’attendais à voir surtout des labels [Données solides]. En réalité, j’ai obtenu un mélange de tous les types, ce qui m’a révélé à quel point Claude remplissait les lacunes dans mes rapports précédents sans que je m’en rende compte.

Voici à quoi ressemble un rapport après l’ajout de cette ligne :

Vos parties prenantes voient désormais exactement ce qui est solide et ce qui est une supposition. C’est un rapport bien plus honnête.

LA QUATRIÈME LIGNE : LISTER CE QUE LE RAPPORT NE PEUT PAS DIRE

À la fin du rapport, ajoutez une section intitulée « Ce que ce rapport ne peut pas vous dire ». Listez 2 ou 3 éléments nécessaires pour tirer des conclusions plus solides, par exemple :

• Une analyse des commentaires par référence.
• Les taux de retour des produits.
• Les données d’achat répété.

Cette ligne force Claude à reconnaître les limites de son analyse. Elle donne aussi à vos parties prenantes une feuille de route claire pour les prochaines investigations… ce qui est en réalité la chose la plus précieuse qu’un analyste puisse faire.

AMÉLIORER LA COMPÉTENCE : TESTER ET ITÉRER COMME UN MODÈLE

Écrire une compétence une fois ne suffit pas. Il faut la tester et l’améliorer en continu, comme on itère sur un modèle.

Filtrez le jeu de données sur une période où vous connaissez déjà les faits (un trimestre avec un rappel de produit, une promotion saisonnière, une période de retours anormalement élevés, etc.). Vérifiez ce que dit Claude. Utilise-t-il correctement le mot « significatif » ? Indique-t-il les statistiques là où il le devrait ?

Claude est capable de repérer sa propre surconfiance… à condition de lui demander explicitement de le faire.

UNE COMPÉTENCE POUR DÉTECTER LES ERREURS DE CLAUDE

Voici un exemple de rapport trimestriel généré par un analyste IA. Relisez chaque insight de ce rapport et signalez ceux qui :

• Fondent des affirmations causales sans preuve directe dans le texte des commentaires.
• Utilisent des mots comme « significatif » ou « notable » sans justification.
• Lient des problèmes de produits individuels à des tendances globales de marque.
• Font des hypothèses sur un contexte absent du jeu de données (calendriers de lancement, campagnes promotionnelles, etc.).

Pour chaque point signalé, proposez une version révisée plus prudente et mieux étayée.

Chaque fois que Claude produit un rapport avec un insight clairement faux ou trop confiant, demandez-lui d’ajouter une nouvelle contrainte à votre compétence. Avec le temps, votre compétence devient peu à peu un catalogue de tout ce que Claude a tendance à mal interpréter.

TROUVER LE BON ÉQUILIBRE : NI TROP CONFIANT, NI TROP PRUDENT

Ajouter des contraintes peut parfois amener Claude à terminer chaque phrase par « …bien que des données supplémentaires seraient nécessaires pour le confirmer. »

L’objectif est d’obtenir une confiance calibrée : la force du langage de Claude doit correspondre à la solidité des preuves. Si vous constatez que Claude devient trop hésitant, vous pouvez ajouter une contrainte inverse :

Ne surqualifiez pas chaque affirmation. Si un motif apparaît clairement et de manière cohérente dans de nombreux commentaires, énoncez-le simplement et incluez des références aux données derrière ce motif. Réservez les qualifiants pour les affirmations genuinely incertaines ou spéculatives.

Claude est impressionnant pour générer des rapports qui ont l’air professionnels… et c’est justement le problème.

Le polissage cache la surconfiance. Vos parties prenantes voient une mise en page impeccable et un langage autoritaire, et elles supposent que les insights sont solides… même quand ce n’est pas le cas.

LES QUATRE LIGNES QUI TRANSFORMENT CLAUDE EN ANALYSTE HONNÊTE

Les quatre lignes que je vous ai présentées ne rendent pas Claude moins capable. Elles le rendent plus honnête. Et dans un contexte de reporting, l’honnêteté est plus précieuse que l’impression.

Ces lignes ne sont pas des recettes magiques. Elles sont le résultat de tests répétés, d’erreurs corrigées et d’ajustements constants. Chaque rapport généré par une IA doit être relu avec un œil critique, car même les meilleurs modèles ont tendance à inventer des narrations plausibles… même quand elles sont fausses.

POUR ALLER PLUS LOIN : D’AUTRES COMPÉTENCES CLAUDE UTILES

Si vous voulez explorer d’autres cas d’usage de Claude, voici quelques compétences qui pourraient vous être utiles :

• Construire des tableaux de bord automatisés à partir de données.

• Déboguer du code ou des scripts.

• Rédiger de la documentation technique ou des guides.

Pour en savoir plus, consultez ces articles :

3 compétences Claude que chaque data scientist devrait maîtriser en 2026