OpenAI sur le grill : sécurité sacrifiée au nom des profits ?

La tentative judiciaire d'Elon Musk pour démanteler OpenAI pourrait dépendre de la manière dont sa filiale à but lucratif renforce ou compromet la mission fondatrice du laboratoire de pointe : garantir que l'humanité bénéficie de l'intelligence artificielle générale (IAG). Jeudi, un tribunal fédéral d'Oakland, en Californie, a entendu une ancienne employée et membre du conseil d'administration affirmer que les efforts de l'entreprise pour commercialiser ses produits d'IA avaient compromis son engagement en matière de sécurité.

UNE MISSION DE Recherche DÉTOURNÉE

Rosie Campbell a rejoint l'équipe de préparation à l'IAG en 2021, et a quitté OpenAI en 2024 après la dissolution de son équipe. Une autre équipe axée sur la sécurité, l'équipe Super Alignment, a été dissoute à la même période. « Quand j'ai rejoint l'entreprise, c'était très axé sur la recherche et il était courant que les gens parlent d'IAG et de questions de sécurité », a-t-elle témoigné. « Avec le temps, c'est devenu une organisation plus centrée sur les produits. »

En contre-interrogatoire, Campbell a reconnu qu'un financement important était probablement nécessaire pour atteindre l'objectif du laboratoire de construire une IAG, mais a déclaré que créer un modèle informatique super-intelligent sans les bonnes mesures de sécurité ne correspondrait pas à la mission de l'organisation qu'elle avait initialement rejointe.

UN DÉPLOIEMENT PRÉMATURÉ EN INDE

Campbell a évoqué un incident où Microsoft a déployé une version du modèle GPT-4 en Inde via son moteur de recherche Bing avant que le modèle n'ait été évalué par le Conseil de sécurité de déploiement (DSB) de l'entreprise. Le modèle en lui-même ne présentait pas un risque énorme, a-t-elle dit, mais l'entreprise devait « établir des précédents solides à mesure que la technologie devient plus puissante. Nous voulons avoir de bons processus de sécurité en place et savoir qu'ils sont suivis de manière fiable. »

OPINION SUR XAI

Les avocats d'OpenAI ont également fait admettre à Campbell que, selon son « opinion spéculative », l'approche de sécurité d'OpenAI est supérieure à celle de xAI, l'entreprise d'IA fondée par Musk et rachetée par SpaceX plus tôt cette année.

UN CADRE DE SÉCURITÉ PUBLIC, MAIS DES SILENCES

OpenAI publie des évaluations de ses modèles et partage publiquement un cadre de sécurité, mais l'entreprise a refusé de commenter son approche actuelle de l'alignement de l'IAG. Dylan Scandinaro, l'actuel responsable de la préparation, a été embauché chez Anthropic en février. Altman a déclaré que cette embauche lui permettrait de « mieux dormir ce soir ».

LE LICENCIEMENT ÉCLAIR DE SAM ALTMAN

Cependant, le déploiement de GPT-4 en Inde a été l'un des signaux d'alarme qui ont conduit le conseil d'administration à but non lucratif d'OpenAI à licencier brièvement le PDG Sam Altman en 2023. Cet incident s'est produit après que des employés, dont le scientifique en chef de l'époque Ilya Sutskever et la directrice technique de l'époque Mira Murati, se sont plaints du style de gestion d'Altman, qui évitait les conflits. Tasha McCauley, membre du conseil à l'époque, a témoigné de ses inquiétudes quant au fait qu'Altman n'était pas assez transparent avec le conseil pour que sa structure inhabituelle fonctionne.

TROMPERIES ET CONFLITS D'INTÉRÊTS

McCauley a également discuté d'un schéma largement rapporté de désinformation du conseil par Altman. Notamment, Altman a menti à un autre membre du conseil sur l'intention de McCauley de révoquer Helen Toner, une troisième membre du conseil qui avait publié un livre blanc contenant des critiques implicites de la politique de sécurité d'OpenAI. Altman n'a pas non plus informé le conseil de la décision de lancer ChatGPT publiquement, et les membres étaient préoccupés par son manque de divulgation de conflits d'intérêts potentiels.

LE CONSEIL IMPUISSANT FACE À LA RÉVOLTE

Cependant, la décision de renvoyer Altman est intervenue au même moment qu'une offre publique d'achat aux employés de l'entreprise. McCauley a déclaré que lorsque le personnel d'OpenAI a commencé à prendre le parti d'Altman et que Microsoft a œuvré pour rétablir le statu quo, le conseil a finalement fait marche arrière, les membres opposés à Altman démissionnant.

L'ACCORD IMPLICITE ROMPU

L'échec apparent du conseil à but non lucratif à influencer l'organisation à but lucratif va directement dans le sens de l'affaire de Musk, selon laquelle la transformation d'OpenAI d'une organisation de recherche en l'une des plus grandes entreprises privées au monde a rompu l'accord implicite entre les fondateurs de l'organisation.

UN EXPERT JUGE LA GOUVERNANCE

David Schizer, ancien doyen de la faculté de droit de Columbia, payé par l'équipe de Musk pour agir en tant que témoin expert, a fait écho aux préoccupations de McCauley. « OpenAI a souligné qu'une partie essentielle de sa mission est la sécurité et qu'elle va donner la priorité à la sécurité sur les profits », a déclaré Schizer. « Cela implique de prendre les règles de sécurité au sérieux : si quelque chose doit faire l'objet d'un examen de sécurité, cela doit être fait. Ce qui importe, c'est la question du processus. »

VERS UNE RÉGULATION PLUS STRICTE

Avec l'IA déjà profondément ancrée dans les entreprises à but lucratif, la question dépasse largement un seul laboratoire. McCauley a déclaré que les échecs de la gouvernance interne chez OpenAI devraient être une raison d'adopter une réglementation gouvernementale plus stricte de l'IA avancée : « si tout se résume à un seul PDG qui prend ces décisions, et que le bien public est en jeu, c'est très sous-optimal. »