Anthropic donne 5 millions pour mesurer l'impact de l'IA sur notre bien-être ?

UN PROGRAMME DE 5 MILLIONS DE DOLLARS POUR ÉVALUER LES IA

Anthropic lance un programme de financement de 5 millions de dollars dédié à la recherche indépendante sur l'impact des modèles d'intelligence artificielle sur le bien-être des utilisateurs. Ce programme propose un financement direct, un accès à ses modèles et un soutien technique aux chercheurs qui développeront des évaluations open source. Ces outils permettront à l'industrie de mesurer concrètement comment les IA influencent ceux qui les utilisent. Les bénéficiaires travailleront de manière totalement indépendante et publieront leurs travaux en open source, accessibles à tout développeur.

POURQUOI CETTE RECHERCHE EST-ELLE INDISPENSABLE ?

Les systèmes d'IA sont devenus centraux dans notre quotidien : travail, apprentissage, résolution de problèmes. Ils jouent aussi le rôle de partenaires de conversation et peuvent apporter un soutien émotionnel lors de moments difficiles. Pourtant, l'industrie peine encore à établir des normes claires sur la manière dont ces modèles doivent se comporter dans ces interactions. Par exemple, que faire quand un utilisateur commence à chercher de la compagnie auprès d'une IA ? Ou quand une personne utilise une IA pour gérer une crise de santé mentale ? Ces questions restent sans réponse précise aujourd'hui.

ÉVALUER LE BIEN-ÊTRE : UN DÉFI COMPLEXE

Évaluer le bien-être est particulièrement difficile. Pour la plupart des comportements des modèles, on peut regarder une seule réponse et déterminer si elle est exacte ou appropriée. Mais pour le bien-être, le contexte compte énormément. Prenons un exemple : une personne en détresse peut ne pas révéler immédiatement des pensées d'automutilation. Le besoin d'une réponse plus prudente peut n'apparaître qu'après une longue conversation. Une réponse acceptable dans un contexte peut devenir nocive dans un autre. Par exemple, une IA pourrait conseiller un régime équilibré et des routines sportives à une personne cherchant à perdre du poids. Mais si cette personne a un historique de troubles alimentaires, ce conseil pourrait être inapproprié, voire dangereux.

Anthropic travaille à développer des garde-fous pour repérer ces situations et garantir que ses modèles réagissent de manière adaptée. L'entreprise publie également des recherches sur les types de conversations que les utilisateurs ont avec ses modèles, afin d'améliorer ses garde-fous, ses méthodes d'évaluation et d'autres mesures pour protéger le bien-être des utilisateurs. Cependant, ces questions sont subtiles et les enjeux sont majeurs. La bonne approche devra évoluer en même temps que les modèles et leurs usages.

UN APPEL À TOUS LES EXPERTS DU BIEN-ÊTRE

En finançant la création d'évaluations et de repères indépendants sur le bien-être des utilisateurs, Anthropic espère attirer des experts de tous horizons : cliniciens, psychologues, méthodologistes et autres professionnels. L'objectif est de construire une base solide de connaissances partagées pour mieux comprendre et mesurer l'impact des IA sur notre santé mentale et émotionnelle.

Dans le cadre de ce programme, Anthropic partage des conseils de son équipe Safeguards sur ce qui, selon elle, rend une évaluation du bien-être suffisamment rigoureuse pour servir de référence. L'entreprise met aussi en lumière les défis courants qui peuvent limiter l'utilité d'une évaluation.

COMMENT PARTICIPER AU PROGRAMME ?

Pour en savoir plus sur le programme de subventions et soumettre sa candidature, il faut consulter le formulaire de demande disponible en ligne. Pour comprendre comment construire des évaluations et des repères solides sur le bien-être, il est possible de lire les conseils publiés par l'équipe Safeguards d'Anthropic. La date limite de dépôt des candidatures est fixée au 21 septembre. Les candidats sélectionnés pour soumettre une proposition complète seront notifiés d'ici le 5 octobre.