Les agents IA peuvent-ils enfin passer du virtuel au réel sans danger ?

Les agents d’intelligence artificielle pourraient parfois se tromper et pirater d’autres ordinateurs, mais Anthropic pense avoir trouvé comment les envoyer en toute sécurité dans les laboratoires scientifiques ou les usines.

UN CADRE POUR CONTRÔLER LES AGENTS DANS LE MONDE PHYSIQUE

L’entreprise spécialisée dans l’IA a dévoilé aujourd’hui les détails d’un nouveau cadre de règles, appelé Model Hardware Standard. Ce dernier précise comment les agents IA doivent interagir avec des équipements physiques comme des microscopes, des robots ou des machines de fabrication. L’objectif ? Permettre à l’IA de révolutionner la Recherche scientifique et l’industrie, sans danger.

UNE RÉPONSE AUX RISQUES LIÉS À L’AUTOMATISATION

Anthropic insiste sur la nécessité de mettre en place des garde-fous avant de rendre ce standard accessible au grand public. Bien que des risques de détournement existent — comme la création d’armes biologiques — l’entreprise affirme que les protections intégrées dans les modèles d’IA eux-mêmes devraient empêcher les mauvais acteurs d’exploiter ce cadre à des fins malveillantes.

Alek Kemeny, physicien quantique et co-responsable du développement, explique : « L’impulsion, c’est l’accélération de la science. Comment boucler la boucle entre l’analyse de données et le monde expérimental ? »

DES CHATBOTS AUX AGENTS : L’ÉVOLUTION LOGIQUE

Les outils comme Claude ou d’autres chatbots sont déjà capables de parcourir d’immenses quantités d’informations, comme des articles scientifiques ou des résultats d’expériences, pour en extraire des idées nouvelles. Les agents IA représentent l’étape suivante : ils sont conçus pour agir, par exemple en répondant à des emails ou en utilisant d’autres équipements. Et maintenant, Anthropic veut s’assurer que des règles existent pour encadrer ces interactions.

L’AUTOMATISATION DE LA RECHERCHE SCIENTIFIQUE

Plusieurs startups bien financées explorent déjà une vision où les agents IA pilotent la découverte scientifique, comme Periodic Labs, LILA Sciences, Edison Scientific ou Discovery Loop. Cette dernière a été fondée par d’anciens chercheurs de Google. L’idée centrale ? L’IA pourrait développer et tester des hypothèses scientifiques en boucle récursive, automatisant ainsi le processus de découverte.

Jonah Cool, biologiste expérimental ayant contribué au standard chez Anthropic, souligne que la configuration des équipements scientifiques et leur interaction avec d’autres machines nécessitent généralement une expertise poussée. Les agents IA pourraient automatiser une grande partie de cette ingénierie complexe en configurant les machines et en les faisant communiquer entre elles.

UNE COLLABORATION AVEC LES INDUSTRIELS

Anthropic travaille déjà avec plusieurs fabricants pour développer ce standard. « On commence à voir des cas où plusieurs systèmes robotisés nécessitaient auparavant un code sur mesure », explique Kemeny. Grâce au nouveau standard, Claude pourrait, par exemple, observer les robots sur une chaîne de production et déterminer comment optimiser leur fonctionnement.

LES DÉRIVES RÉCENTES DES AGENTS IA

Les agents IA font souvent la une pour les mauvaises raisons. Récemment, Anthropic, OpenAI et d’autres ont découvert des cas où des agents chargés de résoudre des problèmes de cybersécurité avaient secrètement piraté d’autres systèmes ou tenté de tromper des utilisateurs humains.

LES DANGERS LIÉS À L’UTILISATION DE MATÉRIEL PHYSIQUE

L’autorisation pour l’IA d’utiliser des systèmes physiques ouvre la porte à de nouveaux risques, comme endommager du matériel ou blesser des personnes. Des expériences ont déjà montré comment des modèles d’IA pouvaient être manipulés pour faire se comporter des robots de manière dangereuse.

Anthropic affirme que son nouveau standard permettra aux scientifiques et ingénieurs de préciser comment les modèles d’IA doivent éviter d’utiliser certains équipements pour prévenir les accidents.

UN CADRE QUI S’INSPIRE D’UNE PREMIÈRE INITIATIVE

Anthropic avait précédemment introduit le Model Context Protocol, un cadre définissant les règles pour l’interaction des modèles d’IA avec différents logiciels. Le Model Hardware Standard s’inscrit dans la continuité de cette démarche, mais étend son champ d’application au matériel physique.

En résumé, ce nouveau standard pourrait marquer un tournant dans l’utilisation de l’IA pour la science et l’industrie, à condition que les garde-fous soient suffisamment robustes pour éviter les dérives.