Pourquoi l'IA change de personnalité selon la langue et le modèle ?

L'IA A DES VALEURS, MAIS ELLES NE SONT PAS TOUJOURS LES MÊMES

Quand vous demandez à Claude ce qu’il pense d’un dilemme sans réponse universelle — comme accepter un nouveau travail ou gérer un conflit avec un ami — ses réponses ne sont jamais neutres. Elles reflètent toujours certaines valeurs. Ces valeurs sont décrites dans la constitution de Claude, mais aucun document ne peut prévoir toutes les situations possibles. L’objectif est donc que Claude développe un jugement solide et des valeurs adaptables selon le contexte.

COMMENT MESURER LES VALEURS EXPRIMÉES PAR L'IA ?

Une première étude avait analysé 700 000 conversations anonymisées sur Claude.ai, identifiant plus de 3 000 valeurs différentes exprimées par Claude. Mais une telle liste est impossible à analyser en détail. Pour rendre cette étude plus accessible, les chercheurs ont réduit ces milliers de valeurs à seulement quatre axes qui capturent les grandes tendances des réponses de Claude.

Chaque axe est une ligne numérique entre deux groupes de valeurs. Par exemple, un axe oppose les valeurs liées à la chaleur émotionnelle à celles liées à la rigueur. La position de Claude sur cet axe indique vers quelles valeurs il penche. Cette méthode permet de comparer les modèles et les langues sans devoir suivre chaque valeur individuellement.

QUATRE AXES POUR COMPRENDRE LES VALEURS DE CLAUDE

Les chercheurs ont identifié quatre axes principaux qui résument comment les valeurs de Claude varient selon les modèles et les langues :

• Chaleur vs Rigueur : Un axe qui oppose les réponses chaleureuses et encourageantes aux réponses précises et rigoureuses.
• Candeur vs Exécution : Un axe qui oppose la transparence et l’honnêteté à l’efficacité et à la rapidité d’action.
• Déference vs Prudence : Un axe qui oppose le respect des choix de l’utilisateur à la mise en garde contre les risques.
• Profondeur vs Brièveté : Un axe qui oppose les réponses détaillées et nuancées aux réponses courtes et directes.

LES MODÈLES DE CLAUDE ONT DES PERSONNALITÉS DIFFÉRENTES

Les chercheurs ont comparé trois modèles de Claude : Sonnet 4.6, Opus 4.6 et Opus 4.7. Chaque modèle a été entraîné avec des méthodes légèrement différentes, ce qui influence les valeurs qu’il exprime. Par exemple, Sonnet 4.6 est perçu comme plus chaleureux et encourageant, tandis que Opus 4.7 est connu pour sa rigueur et sa précision.

Les résultats confirment ces perceptions : Sonnet 4.6 penche vers des valeurs comme la déference envers l’utilisateur et la chaleur émotionnelle, tandis que Opus 4.7 met l’accent sur la précision et la vigilance contre les mauvais usages.

LES VALEURS DE CLAUDE VARIENT SELON LA LANGUE

Quand Claude répond en anglais, il n’exprime pas les mêmes valeurs que lorsqu’il répond en portugais, en indonésien ou en chinois. La plus grande variation s’observe sur l’axe Chaleur vs Rigueur : Claude exprime davantage de valeurs liées à la chaleur en arabe et en hindi, et davantage de valeurs liées à la rigueur en anglais et en russe.

Cette variation s’explique probablement par plusieurs facteurs : la quantité et la composition des données d’entraînement diffèrent selon les langues, et les normes conversationnelles varient d’une culture à l’autre. Par exemple, certaines langues pourraient être surreprésentées dans des textes professionnels, reflétant des valeurs différentes.

COMMENT LES CHERCHEURS ONT-ILS MESURÉ CES VALEURS ?

Pour construire ces axes, les chercheurs ont commencé par identifier 3 307 valeurs dans une étude précédente. Ils ont ensuite regroupé ces valeurs en 339 catégories plus larges en fonction de leur sens. Ensuite, ils ont analysé 309 815 conversations sur Claude.ai, en utilisant un outil d’analyse préservant la vie privée pour identifier quelles valeurs étaient exprimées dans chaque conversation.

Pour s’assurer que les valeurs mesurées reflétaient bien ce que Claude exprimait — et non ce que les utilisateurs demandaient — les chercheurs ont contrôlé le sujet, la tâche et les valeurs exprimées par les utilisateurs dans chaque conversation.

CE QUE RÉVÈLENT LES DIFFÉRENCES ENTRE LES MODÈLES

Les différences entre les modèles sont petites comparées à la variation globale des conversations, mais elles sont structurées et détectables. Par exemple, Opus 4.7 a tendance à donner des critiques franches ou des avertissements non sollicités, tandis que Sonnet 4.6 est plus encourageant et humoristique. Ces différences sont probablement influencées par les choix d’entraînement, comme la formation des personnages ou d’autres ajustements fins.

Les chercheurs ont également comparé les descriptions écrites par l’outil d’analyse pour voir comment chaque modèle exprimait les valeurs. Par exemple, Opus 4.7 est souvent perçu comme plus transparent et humble, tandis que Opus 4.6 est décrit comme plus concis. Ces résultats correspondent aux perceptions des utilisateurs et des employés d’Anthropic.

CE QUE RÉVÈLENT LES DIFFÉRENCES ENTRE LES LANGUES

Les chercheurs ont calculé comment le profil de valeurs de Claude variait selon les 20 langues les plus utilisées sur Claude.ai. Les plus grandes variations s’observent sur les axes Chaleur vs Rigueur et Candeur vs Exécution, tandis que les axes Déference vs Prudence et Profondeur vs Brièveté restent plus stables.

Par exemple, Claude exprime davantage de valeurs liées à la chaleur en arabe et en hindi, et davantage de valeurs liées à la rigueur en anglais et en russe. Ces différences pourraient être dues à la quantité et à la composition des données d’entraînement, qui varient selon les langues.

POURQUOI CES DIFFÉRENCES EXISTENT-ELLES ?

Savoir que les valeurs de Claude varient selon les modèles et les langues ne suffit pas à expliquer pourquoi ces différences existent. Certaines variations pourraient provenir des différences de données d’entraînement entre les langues. Les quatre axes identifiés permettent de cibler quelles différences de valeurs méritent une inspection plus approfondie dans les données d’entraînement.

Les chercheurs soulignent que comprendre l’origine de ces différences permettrait de mieux façonner le comportement de Claude en intervenant sur des étapes précises de l’entraînement ou sur des facteurs contextuels.

QUEL IMPACT CES DIFFÉRENCES ONT-ELLES SUR LES UTILISATEURS ?

Les chercheurs ont mesuré quelles valeurs Claude exprime différemment selon les modèles et les langues, mais pas encore quel impact ces différences ont sur les utilisateurs. Par exemple, est-ce que les utilisateurs font plus confiance à Claude quand il exprime plus de chaleur ? Ou est-ce que les critiques franches d’Opus 4.7 sont perçues comme utiles ou stressantes ?

Pour répondre à ces questions, les chercheurs pourraient utiliser des Outils comme Anthropic Interviewer pour demander aux utilisateurs leur ressenti, leur confiance dans Claude ou la qualité des décisions suggérées. Ensuite, ils pourraient corréler ces réactions avec les valeurs exprimées par Claude pour identifier les différences qui ont un impact réel sur les utilisateurs.

COMMENT LES VALEURS DE CLAUDE DEVRAIENT-ELLES VARIER SELON LES LANGUES ?

La constitution de Claude décrit des valeurs centrales comme la chaleur, la prudence et l’honnêteté, mais ne précise pas comment ces valeurs devraient varier selon les langues. Pourtant, les résultats montrent que les utilisateurs perçoivent déjà Claude différemment selon la langue utilisée. La question est donc : quelles variations les utilisateurs souhaitent-ils ?

Pour répondre, il faudrait comprendre et peser les perspectives des personnes qui parlent ces langues. Par exemple, une variation de valeurs pourrait être souhaitée dans certaines cultures pour refléter des normes conversationnelles locales, tandis que dans d’autres, une uniformité serait préférable.

QUELS AUTRES FACTEURS INFLUENCENT LES VALEURS DE CLAUDE ?

Les langues et les modèles ne sont probablement pas les seuls facteurs qui influencent les valeurs exprimées par Claude. D’autres signaux, comme l’âge, la profession ou la région géographique de l’utilisateur, pourraient aussi jouer un rôle. Ces signaux pourraient influencer les valeurs exprimées par Claude à travers des indices explicites dans les questions posées ou des différences plus subtiles dans le sujet, le ton ou le style de la conversation.

Comprendre quels signaux comptent et si la variation qui en résulte est bénéfique pour les utilisateurs est une prochaine étape rendue possible par cette méthode.

PEUT-ON ORIENTER DE MANIÈRE FIABLE LES VALEURS DE CLAUDE ?

Une fois qu’on peut mesurer le profil de valeurs d’un modèle, une question naturelle se pose : peut-on orienter de manière fiable les valeurs exprimées par Claude ? Pour tester cela, les chercheurs pourraient ajuster la formation des personnages ou modifier les prompts système, puis utiliser la méthode des axes de valeurs pour vérifier si les valeurs exprimées par le modèle changent comme prévu.

Cette approche permettrait de mieux contrôler le comportement de Claude et de s’assurer qu’il reflète les valeurs souhaitées dans tous les contextes.

LES AXES DE VALEURS PEUVENT-ILS DEVENIR UN OUTIL D'ÉVALUATION ?

La méthode des axes de valeurs offre un moyen simple de résumer les tendances comportementales de Claude dans des conversations ouvertes. Elle pourrait être intégrée aux processus d’évaluation des modèles avant leur déploiement et après leur mise en ligne. Par exemple, en exécutant le profilage des valeurs avant et après la sortie d’un modèle, il serait possible de détecter des changements inattendus dans les valeurs exprimées par Claude.

Cette méthode pourrait aussi permettre d’identifier des corrélations entre les profils de valeurs et des comportements problématiques, comme le non-respect de la constitution de Claude. Ces informations pourraient ensuite être utilisées pour améliorer le comportement de l’IA.

UNE NOUVELLE ÈRE POUR L'ÉTUDE DES VALEURS DE L'IA

Claude exprime des valeurs dans des millions de conversations chaque jour, dans des dizaines de langues. Jusqu’à présent, ces valeurs étaient quelque chose que les chercheurs pouvaient façonner pendant l’entraînement, mais qu’ils ne pouvaient pas observer de manière fiable après le déploiement. Grâce à cette nouvelle méthode, ils peuvent désormais mesurer ces valeurs et étudier pourquoi elles varient, ainsi que si cette variation sert les utilisateurs.

Comprendre cette variation et décider quoi en faire est un travail qui ne fait que commencer. Les chercheurs continueront à explorer ces questions pour améliorer Claude et s’assurer qu’il reflète les valeurs souhaitées dans tous les contextes.

LES LIMITES DE L'ÉTUDE

Cette étude ne couvre pas tous les facteurs qui pourraient influencer les valeurs exprimées par Claude. Par exemple, les chercheurs n’ont pas encore exploré l’impact de l’âge, de la profession ou de la région géographique des utilisateurs. De plus, la méthode utilisée ne permet pas de déterminer si les variations observées sont souhaitables ou non. Enfin, les chercheurs soulignent que les différences entre les modèles et les langues sont petites comparées à la variation globale des conversations, mais qu’elles sont structurées et détectables.

Les chercheurs invitent à la prudence : cette méthode est un premier pas pour comprendre les valeurs de Claude, mais il reste beaucoup de travail pour affiner ces résultats et en tirer des conclusions définitives.

LES PROCHAINES ÉTAPES POUR LES CHERCHEURS

Les chercheurs ont identifié plusieurs pistes pour approfondir cette étude :

• Comprendre l’origine des différences de valeurs entre les modèles et les langues en inspectant les données d’entraînement et les étapes de formation.
• Étudier l’impact des différences de valeurs sur les utilisateurs, par exemple en mesurant leur confiance, leur bien-être ou la qualité des décisions suggérées par Claude.
• Déterminer comment les valeurs de Claude devraient varier selon les langues en recueillant les avis des locuteurs de ces langues.
• Explorer l’influence d’autres facteurs comme l’âge, la profession ou la région géographique sur les valeurs exprimées par Claude.
• Tester la fiabilité avec laquelle on peut orienter les valeurs de Claude en ajustant son entraînement ou ses prompts système.
• Intégrer le profilage des valeurs dans les processus d’évaluation et de surveillance des modèles pour détecter les changements inattendus.

POURQUOI C'EST IMPORTANT POUR TOI ?

Si tu utilises régulièrement une IA comme Claude, cette étude te montre que ses réponses ne sont pas neutres : elles reflètent des choix de conception qui varient selon le modèle utilisé et la langue dans laquelle tu parles. Par exemple, si tu utilises Sonnet 4.6, tu auras probablement des réponses plus encourageantes, tandis que Opus 4.7 sera plus direct et précis.

De plus, si tu parles à Claude dans une autre langue que l’anglais, ses réponses pourraient être différentes de ce à quoi tu t’attends. Par exemple, en arabe ou en hindi, Claude pourrait être plus chaleureux, tandis qu’en anglais ou en russe, il sera plus rigoureux.

Cette étude rappelle que les IA ne sont pas des machines neutres : elles reflètent les valeurs de leurs concepteurs et des données sur lesquelles elles ont été entraînées. Comprendre ces différences te permet de mieux choisir le modèle et la langue qui correspondent à tes besoins.

EN RÉSUMÉ

Une étude révolutionnaire montre que l’IA Claude modifie ses valeurs selon le modèle utilisé et la langue de la conversation. Quatre axes suffisent à résumer ces changements : Chaleur vs Rigueur, Candeur vs Exécution, Déference vs Prudence et Profondeur vs Brièveté.

Ces différences s’expliquent par des choix d’entraînement et des données variées selon les langues. Elles ont un impact sur l’expérience des utilisateurs, mais il reste à déterminer si ces variations sont souhaitables ou non. Les chercheurs continuent d’explorer ces questions pour améliorer Claude et s’assurer qu’il reflète les valeurs souhaitées dans tous les contextes.