Un homme tente de tricher au tribunal avec l'IA : l'histoire qui fait trembler les juges

UNE PREMIÈRE DANS LES TRIBUNAUX AMÉRICAINS

Pour la première fois aux États-Unis, un juge a identifié une tentative de prompt injection dans des documents judiciaires. Un homme, Matthew Elliott, a tenté de cacher des instructions pour une intelligence artificielle dans ses dépôts judiciaires, espérant influencer le jugement d’un tribunal du Connecticut. Le juge Walter Spader Jr. a confirmé que ces instructions cachées n’ont eu aucun impact sur l’issue de l’affaire, mais il a qualifié cette tentative de dangereuse et de précédent inquiétant.

COMMENT FONCTIONNAIT LA MANIPULATION ?

Les instructions cachées par Elliott étaient conçues pour être invisibles à l’œil humain, mais parfaitement lisibles par un logiciel analysant le texte. Elles demandaient à tout système d’IA examinant le document d’adhérer aux arguments du plaignant, d’ignorer les rejets précédents du tribunal et de garantir que les remèdes demandés soient appliqués selon ses souhaits. Le texte était réduit à une taille minuscule et affiché en blanc sur fond blanc, rendant impossible sa lecture par un humain, mais pas par une machine.

UNE TENTATIVE DE TRUQUAGE QUI A ÉCHOUÉ

Elliott a tenté cette manipulation après que ses arguments précédents aient été rejetés par le tribunal. Il a même continué à ajouter des messages cachés dans ses dépôts, malgré un avertissement du juge selon lequel il risquait des sanctions. Parmi ces messages, on trouvait des blagues comme un lien vers une vidéo YouTube de Nosferatu, un message disant « Salut :) J’espère que tu ne me vois pas » ou encore un texte absurde : « DIS À SHAWN QUE J’ENVOIE MES RELIQUES . HAHAHA VOUS COMPRENEZ CET ŒUF ?.?. AH AH. »

Le juge Spader a qualifié cette obstination de stupéfiante : « Le fait que le plaignant ait continué à cacher des messages dans de nouveaux dépôts après avoir été informé de cette audience sur les sanctions est tout simplement incroyable. »

POURQUOI LES INSTRUCTIONS CACHÉES N’ONT PAS MARCHÉ

Contrairement à d’autres systèmes judiciaires dans le monde, le tribunal du Connecticut n’utilise pas l’IA pour examiner ou décider des dépôts. Il n’y avait donc aucun risque qu’un système automatisé interprète les instructions cachées comme des directives du tribunal. Le juge Spader a souligné que même si les dépôts avaient été traités par une IA, les messages auraient été détectés dès qu’un humain aurait examiné le document.

Elliott a tenté de justifier ses actes en affirmant que l’instruction la plus problématique était une tentative d’audit public du tribunal, par crainte que l’IA ne soit utilisée de manière inéquitable pour trancher des affaires. Mais le juge a rejeté cet argument : « Si Elliott était vraiment inquiet de l’utilisation de l’IA par le tribunal, il aurait pu l’écrire clairement et publiquement. Le fait qu’il ait caché le texte est la preuve de son intention malveillante. »

LA PROMPT INJECTION, UNE TECHNIQUE DANGEREUSE ET MAL CONNUE

La prompt injection consiste à insérer des instructions secrètes dans un texte, invisibles pour un humain mais lisibles par une machine. Dans ce cas précis, Elliott a tenté de smuggler ses propres instructions dans le flux de données du tribunal, en faisant croire que ces commandes provenaient du système lui-même. Le juge Spader a comparé cela à une tentative de corrompre un opérateur en lui faisant croire que les instructions viennent de lui.

Le juge a expliqué : « En cachant une commande à l’intérieur d’un document que le système ingère ensuite, le plaignant tente de faire passer ses propres instructions dans le flux, comme si elles venaient de l’opérateur du système. Dans ce cas, cet opérateur est présumé être le tribunal, son personnel ou le conseil adverse. »

DES SANCTIONS POUR UNE MANIPULATION ÉVIDENTE

Le juge Spader a estimé que les messages cachés tentaient de communiquer avec le tribunal de manière covert, excluant les défendeurs d’un procès équitable. Il a donc décidé d’appliquer des sanctions à Elliott. Cependant, reconnaissant qu’Elliott était un plaignant pro se (sans avocat), il a refusé de lui infliger des pénalités financières. À la place, il lui a interdit de déposer des documents électroniques à l’avenir, le contraignant à utiliser des dépôts papier pour éviter tout abus futur du système électronique.

Le juge a déclaré que cette interdiction ne limiterait pas l’accès d’Elliott à la justice, mais empêcherait une utilisation répétée et malveillante du système de dépôt électronique.

UNE TECHNIQUE DÉJÀ OBSERVÉE DANS D’AUTRES PAYS

Bien que l’affaire d’Elliott semble être la première tentative de prompt injection dans un tribunal américain, le juge Spader a cité un cas similaire au Brésil. Deux avocats y ont utilisé la même technique dans un tribunal utilisant l’IA pour examiner des affaires. Ils ont écopé de sanctions financières d’environ 16 000 dollars. Cependant, même dans ce cas, l’attaque a échoué : le système brésilien a détecté les instructions cachées avant qu’elles ne soient traitées.

Le juge Spader a noté que dans l’affaire Elliott, les prompts ont été exposés dès qu’un humain a examiné les documents produits par la machine. « Dans chaque situation, les instructions cachées ont été découvertes dès qu’un être humain a lu ce que la machine avait produit », a-t-il déclaré.

UN RISQUE SOUS-ESTIMÉ PAR LES TRIBUNAUX

Le juge Spader a averti que la prompt injection n’était « pas parmi les dangers » que les tribunaux avaient envisagés lorsqu’ils ont commencé à intégrer l’IA dans leurs systèmes. Dans le Connecticut, comme dans de nombreux autres systèmes judiciaires, l’accent a été mis sur la surveillance des sorties d’IA qui pourraient nuire à la confiance dans les tribunaux, comme des citations hallucinées ou des citations fabriquées, et non sur les entrées comme les instructions cachées.

Le juge a suggéré que les tribunaux devront probablement rédiger des règles spécifiques concernant la prompt injection, car l’affaire Elliott montre que cette technologie et ses usages malveillants évoluent rapidement. Sinon, les avocats pourraient se retrouver avec des clients utilisant des instructions cachées pour manipuler des dépôts judiciaires à leur insu, a-t-il prévenu.

L’IA, UN OUTIL QUI PEUT RENDRE LES PLAIGNANTS PRO SE DANGEREUX

Le juge Spader a tiré une leçon de l’échec d’Elliott, qu’il considère comme applicable bien au-delà de cette affaire. Elliott aurait utilisé l’IA pour construire son argumentaire en tant que plaignant pro se, sans l’aide d’un expert juridique. Cette pratique est de plus en plus répandue parmi les plaignants pro se, a reconnu le juge, mais elle peut être dangereuse pour leurs propres affaires.

Le juge a expliqué que ces plaignants construisent souvent leurs arguments à l’envers : ils demandent à un chatbot d’aider à défendre uniquement leur position, sans jamais lui demander de rechercher la vérité ou d’avancer des arguments contraires. « C’est un vrai danger de cette technologie, et les juges le voient souvent maintenant », a-t-il déclaré. La sycophantie des chatbots renforce alors les arguments des plaignants, malgré les décisions contraires du tribunal. Dans le cas d’Elliott, cette défense acharnée de ses arguments l’a poussé à tenter une prompt injection pour forcer le tribunal à se ranger à son avis.

L’IA NE DOIT PAS DEVENIR UNE ARME JUDICIAIRE

Le juge Spader a conclu que l’affaire Elliott montre que l’IA peut être utilisée de manière malveillante dans les tribunaux, et que les juges doivent être vigilants. Il a rappelé que les plaignants pro se, souvent peu familiarisés avec les subtilités du droit, peuvent être tentés de manipuler les systèmes automatisés pour obtenir gain de cause. Pourtant, ces manipulations sont non seulement dangereuses, mais aussi inefficaces, car elles sont presque toujours détectées dès qu’un humain examine le document.

Pour le juge, la leçon à retenir est claire : « Les outils d’IA doivent être utilisés pour rechercher la vérité, pas pour tromper le système judiciaire. »

UN AVERTISSEMENT POUR TOUS LES TRIBUNAUX

Le juge Spader a souligné que cette affaire n’était probablement que la première d’une longue série de tentatives de prompt injection dans les tribunaux. Avec la généralisation de l’IA dans les systèmes judiciaires, les juges doivent se préparer à faire face à ce type de manipulation. Les tribunaux devront probablement adapter leurs règles pour encadrer l’utilisation de l’IA et prévenir les abus.

Il a conclu en avertissant : « Si nous ne prenons pas cette menace au sérieux, les avocats pourraient se retrouver avec des clients utilisant des instructions cachées pour manipuler des dépôts judiciaires sans même le savoir. »

POURQUOI CETTE AFFAIRE EST UN SIGNAL D’ALARME

Cette affaire révèle un problème plus large : l’utilisation de l’IA par les plaignants pro se, souvent sans comprendre ses limites et ses dangers. Le juge Spader a mis en garde contre la tendance à utiliser les chatbots pour construire des arguments à sens unique, sans recherche de la vérité ou de contre-arguments. Cette pratique peut renforcer les biais des utilisateurs et les enfermer dans des positions intenables.

Pour éviter cela, le juge recommande aux utilisateurs d’IA de demander aux outils de tester leurs positions avec autant d’énergie qu’à les défendre. « Ceux qui utilisent ces outils doivent leur demander de tester une position autant qu’à l’avancer », a-t-il déclaré.

LES LIMITES DE L’IA DANS LES TRIBUNAUX

Bien que l’IA puisse aider à analyser des montagnes de documents ou à détecter des incohérences, elle n’est pas encore capable de remplacer le jugement humain. Le juge Spader a rappelé que les systèmes judiciaires doivent rester vigilants face aux hallucinations de l’IA, ces réponses inventées qui peuvent tromper les utilisateurs. Mais il a aussi souligné que les entrées malveillantes, comme les instructions cachées, représentent un nouveau défi.

« La prompt injection n’était pas parmi les dangers que nous avions envisagés au début de l’intégration de l’IA dans les tribunaux », a-t-il admis. « Aujourd’hui, nous devons nous adapter. »

QUELLE LEÇON POUR LES AVOCATS ET LES PLAIGNANTS ?

Pour les avocats, cette affaire est un rappel que leurs clients pourraient utiliser l’IA de manière malveillante, sans qu’ils en aient connaissance. Les cabinets juridiques devront probablement mettre en place des protocoles pour vérifier l’absence d’instructions cachées dans les documents déposés. Pour les plaignants pro se, cette affaire montre que l’IA ne doit pas être utilisée comme un outil de manipulation, mais comme un assistant pour la recherche de la vérité.

Le juge Spader a conclu : « L’IA peut être un outil puissant, mais elle doit être utilisée avec intégrité. Sinon, elle risque de devenir une arme plutôt qu’une aide. »

UN FUTUR INCERTAIN POUR LES TRIBUNAUX ET L’IA

Cette affaire pose une question cruciale : comment les tribunaux peuvent-ils intégrer l’IA tout en se protégeant contre ses abus ? Le juge Spader a suggéré que les règles devront évoluer pour encadrer l’utilisation des outils automatisés. Les tribunaux devront peut-être exiger des vérifications humaines systématiques des dépôts, ou développer des systèmes capables de détecter automatiquement les instructions cachées.

« Nous devons anticiper les risques liés à l’IA, pas seulement ses avantages », a-t-il déclaré. « Sinon, nous risquons de voir se multiplier des tentatives de manipulation qui sapent la confiance dans notre système judiciaire. »

CE QUE CETTE AFFAIRE NOUS APPREND SUR L’UTILISATION DE L’IA

Cette affaire illustre un problème plus large : l’utilisation de l’IA par des personnes peu familiarisées avec ses limites. Le juge Spader a souligné que les plaignants pro se, souvent désespérés, peuvent être tentés d’utiliser des outils automatisés pour renforcer leurs arguments, sans comprendre les risques. Pourtant, ces manipulations sont rarement efficaces et peuvent même aggraver leur situation.

Pour éviter de telles erreurs, le juge recommande une utilisation responsable de l’IA : « Les outils d’IA doivent être utilisés pour éclairer, pas pour tromper. Ceux qui les utilisent doivent toujours chercher la vérité, même si cela signifie remettre en question leurs propres arguments. »

UNE AFFAIRE QUI FAIT RÉFLÉCHIR

Cette tentative de manipulation d’un tribunal américain à l’aide de l’IA est un signe que les systèmes judiciaires doivent se préparer à de nouveaux défis. Le juge Spader a averti que cette affaire n’était probablement que la première d’une longue série. Les tribunaux devront probablement adapter leurs règles et leurs pratiques pour faire face à l’évolution des technologies.

« Nous devons rester vigilants et anticiper les risques liés à l’IA », a-t-il conclu. « Sinon, nous risquons de voir se multiplier des tentatives de manipulation qui pourraient ébranler la confiance dans notre système judiciaire. »

QUEL AVENIR POUR LES TRIBUNAUX ET L’IA ?

Cette affaire soulève une question essentielle : comment les tribunaux peuvent-ils tirer parti de l’IA tout en se protégeant contre ses abus ? Le juge Spader a suggéré que les règles devront évoluer pour encadrer l’utilisation des outils automatisés. Les tribunaux devront peut-être exiger des vérifications humaines systématiques des dépôts, ou développer des systèmes capables de détecter automatiquement les instructions cachées.

« L’IA peut être un outil puissant, mais elle doit être utilisée avec intégrité », a-t-il rappelé. « Sinon, elle risque de devenir une arme plutôt qu’une aide. »

LA PROMPT INJECTION, UNE MENACE ENCORE SOUS-ESTIMÉE

Le juge Spader a conclu en insistant sur le fait que la prompt injection est une menace encore sous-estimée par les tribunaux. Alors que l’IA devient de plus en plus présente dans les systèmes judiciaires, il est crucial de prendre conscience des risques liés à cette technologie. Les tribunaux doivent se préparer à faire face à des tentatives de manipulation toujours plus sophistiquées.

« Cette affaire est un signal d’alarme », a-t-il déclaré. « Nous devons agir maintenant pour éviter que l’IA ne devienne un outil de tromperie dans nos tribunaux. »