Les IA open-weight rattrapent les modèles fermés : le danger est-il hors contrôle ?

UN MODÈLE CHINOIS DÉFIE LES GÉANTS AMÉRICAINS

Alors que les décideurs politiques débattent de la meilleure façon de réguler des systèmes d’IA de plus en plus puissants comme GPT-5.6 Sol d’OpenAI ou Mythos d’Anthropic, un modèle chinois en poids ouverts vient de réduire l’écart avec les leaders du secteur. Selon un nouveau rapport de l’ONG de sécurité IA SaferAI, GLM-5.2, développé par la startup chinoise Z.ai, n’est plus qu’à quelques mois derrière GPT-5.5 d’OpenAI et Claude Opus 4.7 d’Anthropic en termes de capacités cyber et biologiques.

Ce constat rappelle une mise en garde répétée depuis des années : les modèles en poids ouverts pourraient permettre à n’importe qui de télécharger des IA capables de causer de graves dommages, sans aucune possibilité de surveiller leur utilisation une fois les poids téléchargés. Avec ces modèles qui se rapprochent rapidement des capacités des systèmes d’IA les plus avancés au monde, le débat ne porte plus sur leur capacité à rivaliser, mais sur la manière dont la société peut gérer les risques une fois qu’ils sont rendus publics.

LE FOSSE ENTRE PERFORMANCE ET SÉCURITÉ S’AGRANDIT

« La frontière des capacités n’est pas la frontière des risques, et il faut donc aussi prendre en compte l’état des mesures d’atténuation pour évaluer correctement le risque », explique Henry Papadatos, directeur exécutif de SaferAI. Alors que Z.ai pourrait appliquer des mesures de sécurité à son API hébergée, ces protections deviennent inapplicables dès que quelqu’un exécute les poids sur son propre Matériel. À ce moment-là, il peut supprimer ou modifier toutes les protections, affiner les modèles, ou changer les instructions système.

Les développeurs de modèles de pointe comme OpenAI et Anthropic comptent généralement sur des garde-fous comme des classifieurs, des entraînements à refuser certaines demandes, et des contrôles au niveau de l’API pour limiter les assistances dangereuses en cybersécurité ou en biologie.

Mais ces mesures sont loin d’être infaillibles : les jailbreaks contournent régulièrement les protections des modèles déployés. L’ONG de sécurité Far.ai a identifié des centaines de jailbreaks universels — définis comme des clés réutilisables qui réussissent la plupart des demandes nuisibles — dans des modèles de pointe comme Grok 4.5 de xAI et Gemini 3.1 Pro de Google DeepMind. Selon le rapport, ces jailbreaks réussissent lorsque les attaquants combinent plusieurs techniques de manipulation, dont le jeu de rôle, l’imitation d’autorité, l’historique de conversation falsifié, et des instructions de suivi pour amplifier les faiblesses des défenses du modèle.

LES MODÈLES OUVERTS, UNE MENACE DIFFICILE À CONTRÔLER

« L’objectif devrait clairement être que les bonnes capacités — celles qui sont sûres — soient accessibles à tous, puis que l’on essaie d’éliminer les mauvaises, même en open source », précise Papadatos. Une technique qu’il cite comme potentiellement utile est le filtrage des données d’entraînement, qui consiste pour une entreprise d’IA à supprimer les informations offensives en cybersécurité de ses données d’entraînement, puis à former le modèle sur ce jeu de données nettoyé.

Certaines recherches suggèrent que cette méthode peut réduire les connaissances biologiques dangereuses sans nuire aux performances globales du modèle. Cependant, pour la cybersécurité, le filtrage des données est bien moins pratique. Il est en effet difficile de former un modèle général qui excelle en programmation sans en faire aussi un bon pirate informatique. Comme le codage est devenu le principal générateur de revenus pour l’IA, les développeurs subissent une pression constante pour améliorer ces capacités, même s’ils cherchent parallèlement des moyens de limiter les mauvais usages.

C’est pourquoi les développeurs de modèles de pointe se tournent de plus en plus vers d’autres mesures d’atténuation. L’une d’elles consiste à restreindre sélectivement les types d’assistance en cybersécurité que les modèles fourniront. Par exemple, Claude Opus 5 d’Anthropic peut rechercher des vulnérabilités dans du code source non compilé, mais pas dans des logiciels compilés, selon la fiche technique du modèle. La logique est que cela rend plus difficile l’utilisation d’Opus 5 à des fins offensives.

D’autres approches incluent des évaluations rigoureuses de sécurité avant déploiement, la publication d’évaluations des risques, et le refus de publier les poids du modèle si un système est jugé trop dangereux.

GLM-5.2 : AUCUN CADRE DE SÉCURITÉ PUBLIÉ

Dans le cas de GLM-5.2, SaferAI indique que Z.ai n’a publié aucun cadre de sécurité, aucun engagement en matière de tests pré-déploiement, ni d’évaluation des risques pour ce modèle. TechCrunch a demandé à Z.ai si l’entreprise avait réalisé des évaluations internes ou tierces de sécurité de pointe avant sa sortie, mais n’a reçu aucune réponse.

LA CHINE RECONNAÎT LES RISQUES, MAIS LES PRIORITÉS DIFFÈRENT

Les dirigeants chinois ont de plus en plus reconnu les risques liés à l’IA avancée. Lors de la Conférence mondiale sur l’IA le mois dernier, le président chinois Xi Jinping a souligné l’importance des modèles en poids ouverts, tout en insistant sur la nécessité de garantir que l’IA reste un outil sous contrôle humain strict.

Graham Webster, qui étudie la politique chinoise en matière d’IA au Stanford Cyber Policy Center, explique à TechCrunch que la Chine dispose de réglementations robustes en matière d’IA, mais que celles-ci se concentrent historiquement sur le contenu politiquement sensible, la désinformation et la stabilité sociale, plutôt que sur les risques catastrophiques comme les capacités offensives en cybersécurité ou les mauvais usages biologiques.

« En général, les penseurs américains en IA s’inquiètent davantage de l’idée de risques existentiels catastrophiques que la communauté chinoise », déclare Webster, ajoutant que de nombreux chercheurs chinois en politique estiment que si un nouveau risque frontalier devait émerger, les entreprises américaines le rencontreraient probablement en premier.

« Le système chinois a confiance dans le fait qu’il contrôle l’utilisation de ces technologies à l’intérieur du pays », poursuit Webster. « Être en ligne en Chine est quelque chose que l’on fait sous son vrai nom, et les entreprises comme les utilisateurs peuvent être tenus responsables. »

Webster évoque l’idée que les mécanismes utilisés par les fournisseurs de modèles pour refuser de s’engager sur certains sujets politiques pourraient être adaptés pour s’assurer que les modèles refusent de mener des cyberattaques offensives ou ne fournissent pas de résultats de bio-ingénierie défavorables. Il ajoute que, comme les entreprises chinoises ont tendance à coordonner avec les régulateurs en coulisses, il est difficile de savoir quels tests internes elles réalisent avant la sortie d’un modèle.

LES AVOCATS DES MODÈLES OUVERTS ARGUMENTENT POUR LEUR UTILITÉ

Les défenseurs des modèles en poids ouverts affirment que la publication des poids est importante pour la cybersécurité, car elle permet aux entreprises de se défendre contre les attaques. Par exemple, Hugging Face a utilisé GLM-5.2 pour se protéger contre la faille d’OpenAI.

« Les mêmes systèmes qui ont permis d’arrêter une cyberattaque alimentée par l’IA peuvent désormais aider à se défendre contre des millions de cyberattaques chaque jour, tout en nous permettant d’identifier et de corriger les vulnérabilités avant que les attaquants ne les exploitent », a déclaré cette semaine Clem Delangue, PDG de Hugging Face, dans un message sur les réseaux sociaux.

Papadatos estime que cet avantage est souvent surestimé et ne signifie pas « qu’il faut open-sourcer des capacités dangereuses ».

« Ce qui compte pour moi, c’est que nous ne devrions pas accepter que des capacités dangereuses soient facilement accessibles par n’importe qui, n’importe où », insiste-t-il. Il souligne que l’industrie devrait plutôt s’efforcer de ne rendre que les « bonnes capacités » facilement accessibles. Par défaut, les attaquants adoptent de nouveaux outils plus rapidement que les défenseurs. Par exemple, un groupe de ransomware peut changer ses méthodes en une semaine. Un hôpital, lui, ne peut pas faire de même. »

LE DÉBAT SUR LA RÉGULATION RESTE OUVERT

Alors que les modèles en poids ouverts se rapprochent des capacités des systèmes d’IA les plus avancés, le débat sur leur régulation s’intensifie. Les défenseurs des modèles ouverts mettent en avant leur transparence et leur utilité pour la recherche, tandis que les critiques soulignent les risques de mauvaise utilisation. La question centrale reste : comment concilier innovation et sécurité dans un monde où les modèles les plus puissants deviennent accessibles à tous ?

CE QUE L’ON SAIT DES CAPACITÉS DE GLM-5.2

GLM-5.2, développé par Z.ai, est un modèle en poids ouverts qui se distingue par ses performances en cybersécurité et en biologie. Selon le rapport de SaferAI, il rivalise avec les leaders du secteur comme GPT-5.5 et Claude Opus 4.7 sur ces deux domaines. Cependant, contrairement à ses concurrents, Z.ai n’a pas publié de cadre de sécurité, de tests pré-déploiement, ni d’évaluation des risques pour ce modèle.

LES LIMITES DES MESURES DE SÉCURITÉ ACTUELLES

Les mesures de sécurité actuelles, comme les classifieurs ou les entraînements à refuser certaines demandes, sont régulièrement contournées par des techniques de jailbreak. Ces attaques combinent plusieurs méthodes, comme le jeu de rôle ou l’imitation d’autorité, pour exploiter les faiblesses des défenses des modèles. Les modèles fermés, bien que mieux protégés, ne sont pas à l’abri de ces contournements.

POURQUOI LES MODÈLES OUVERTS SONT-ILS SI DIFFICILES À RÉGULER ?

Les modèles en poids ouverts sont conçus pour s’exécuter sur n’importe quelle infrastructure, avec n’importe quel ensemble de protections. Une fois les poids téléchargés, il est impossible de contrôler leur utilisation. Contrairement aux modèles fermés, où les garde-fous sont appliqués au niveau de l’API, les modèles ouverts permettent aux utilisateurs de modifier ou de supprimer ces protections à leur guise.

LES ALTERNATIVES AU FILTRAGE DES DONNÉES

Le filtrage des données d’entraînement est une technique envisagée pour réduire les risques liés aux modèles en poids ouverts. Cependant, cette méthode est moins efficace pour la cybersécurité, car il est difficile de former un modèle général sans lui donner des connaissances en piratage. D’autres approches, comme la restriction sélective des capacités ou les évaluations rigoureuses avant déploiement, sont donc privilégiées par les développeurs de modèles fermés.

LA POSITION DE LA CHINE SUR L’IA

La Chine a reconnu l’importance des modèles en poids ouverts, tout en insistant sur la nécessité de contrôler strictement leur utilisation. Les réglementations chinoises se concentrent davantage sur la stabilité sociale et la lutte contre la désinformation que sur les risques catastrophiques liés à l’IA. Les entreprises chinoises coordonnent souvent leurs actions avec les régulateurs, ce qui rend difficile l’évaluation des tests internes avant la sortie d’un modèle.

LES ARGUMENTS DES DÉFENSEURS DES MODÈLES OUVERTS

Les partisans des modèles en poids ouverts affirment qu’ils permettent une meilleure défense contre les cyberattaques. Par exemple, Hugging Face a utilisé GLM-5.2 pour se protéger contre une faille d’OpenAI. Cependant, Henry Papadatos de SaferAI estime que cet avantage est souvent surestimé et ne justifie pas la publication de capacités dangereuses.

UNE COURSE ENTRE ATTAQUANTS ET DÉFENSEURS

Les attaquants adoptent de nouveaux outils plus rapidement que les défenseurs. Un groupe de ransomware peut modifier ses méthodes en une semaine, tandis qu’un hôpital ou une entreprise a besoin de mois pour s’adapter. Cette asymétrie rend la régulation des modèles en poids ouverts particulièrement complexe.

LES RISQUES LIÉS À L’UTILISATION DE GLM-5.2

GLM-5.2, bien que performant, pose des risques majeurs en raison de l’absence de garde-fous publiés. Une fois les poids téléchargés, n’importe qui peut les utiliser pour des activités malveillantes, comme des cyberattaques ou des manipulations biologiques. Les évaluations de sécurité réalisées par Z.ai restent inconnues, ce qui rend difficile l’évaluation des risques réels.

LES DIFFÉRENTES APPROCHES DE RÉGULATION

Les modèles fermés comme ceux d’OpenAI ou d’Anthropic utilisent des garde-fous au niveau de l’API et des entraînements à refuser certaines demandes. Les modèles ouverts, en revanche, ne peuvent pas compter sur ces protections une fois les poids téléchargés. La régulation doit donc trouver un équilibre entre innovation et sécurité, en tenant compte des spécificités de chaque approche.

L’AVIS DES EXPERTS SUR LA SÉCURITÉ DES MODÈLES OUVERTS

Henry Papadatos de SaferAI souligne que l’objectif devrait être de rendre accessibles uniquement les capacités sûres, tout en limitant l’accès aux capacités dangereuses. Graham Webster du Stanford Cyber Policy Center note que les priorités en matière de régulation diffèrent entre les États-Unis et la Chine, les Américains étant plus préoccupés par les risques existentiels.

LES IMPLICATIONS POUR L’AVENIR DE L’IA

L’émergence de modèles comme GLM-5.2 montre que l’IA open-weight rattrape rapidement les leaders du secteur. Cependant, leur régulation pose un défi majeur. Si les garde-fous ne suivent pas, ces outils pourraient devenir des armes entre les mains de criminels ou d’États hostiles. La question n’est plus de savoir si ces modèles peuvent rivaliser, mais comment la société peut s’assurer qu’ils ne soient pas utilisés à mauvais escient.

CE QUE LES UTILISATEURS DOIVENT SAVOIR

Les modèles en poids ouverts offrent une transparence et une flexibilité inégalées, mais ils comportent des risques importants. Les utilisateurs doivent être conscients que, une fois téléchargés, ces modèles peuvent être modifiés ou utilisés à des fins malveillantes. La régulation et les bonnes pratiques en matière de sécurité restent essentielles pour limiter ces dangers.

UN DÉBAT QUI NE FAIT QUE COMMENCER

Alors que les modèles en poids ouverts se rapprochent des capacités des systèmes d’IA les plus avancés, le débat sur leur régulation s’intensifie. Entre innovation et sécurité, les décideurs doivent trouver un équilibre pour garantir que ces outils restent bénéfiques pour la société. La question centrale reste : comment concilier progrès technologique et protection contre les risques ?