Le mensonge qui a failli gâcher son livre sur l'IA… et pourquoi il recommence

Steven Rosenbaum n’est pas un inconnu dans le monde de l’écriture. Journaliste et auteur reconnu, il vient de publier Le Futur de la vérité : comment l’IA déforme la réalité, un livre qui explore « comment la vérité est pliée, brouillée et synthétisée » sous la pression de l’IA, un outil « rapide et motivé par le profit ». Pourtant, une enquête du New York Times a révélé cette semaine des citations problématiques dans son livre, générées ou mal attribuées grâce à l’IA.

DES CITATIONS INVENTÉES PAR L'IA DANS UN LIVRE SUR L'IA

Parmi ces citations douteuses, Rosenbaum cite une phrase attribuée à la journaliste tech Kara Swisher qu’elle affirme « n’avoir jamais prononcée ». Une autre citation, attribuée à la professeure Lisa Feldman Barrett de l’université Northeastern, « n’apparaît même pas dans son livre, et elle est fausse ». Rosenbaum travaille désormais avec ses éditeurs pour corriger ces erreurs dans les prochaines éditions. Il parle d’un « audit complet des citations » pour éviter que cela ne se reproduise.

UN AUTEUR QUI REFUSE DE RENONCER À L'IA

Malgré ces erreurs, Rosenbaum ne compte pas abandonner les Outils d’IA. Il explique pourquoi : « L’idée de prendre X années de pause pour laisser l’IA se stabiliser, et revenir à des méthodes de recherche sans IA, comme utiliser Microsoft Word… ce n’est tout simplement pas dans ma nature. » Pour lui, l’IA est « magique » parce qu’elle « connecte, tisse des idées ensemble et te donne des pistes de réflexion que tu n’aurais pas trouvées seul ».

Mais cette magie a un revers : comme l’Anneau Unique de J.R.R. Tolkien, l’IA donne l’illusion à ceux qui l’utilisent de pouvoir en contrôler parfaitement les effets. Est-ce vraiment possible ? Rosenbaum a utilisé l’IA pendant la rédaction de son livre, notamment « pour faire émerger des idées, localiser des articles, résumer des thèmes ou identifier des personnes ou des études à approfondir ». Il insiste sur le fait que l’IA n’a jamais écrit son livre : « La structure narrative, les interviews, les arguments et les conclusions sont entièrement de moi. Il n’y a jamais eu de moment où l’IA écrivait le livre. »

L'IA POUR LA RECHERCHE, PAS POUR L'ÉCRITURE

Le livre de Rosenbaum contient deux types de chapitres : ceux basés sur des interviews transcrites, qu’il affirme avoir menées lui-même, et ceux basés sur des recherches documentaires. Dans ces derniers, Rosenbaum explique : « On extrait des faits et on les assemble pour créer un récit. » Pour cela, il a utilisé des outils comme ChatGPT d’OpenAI et Claude d’Anthropic pour collecter des informations. Toute donnée générée par l’IA était marquée dans ses notes avec une mention « ceci vient de l’IA » pour signaler sa provenance.

Ces notes marquées étaient ensuite transmises à un vérificateur de faits et à deux correcteurs d’épreuves fournis par l’éditeur. Sur les 285 citations externes du livre, six ont été identifiées comme problématiques par le New York Times, dont trois « citations synthétiques » qui n’avaient aucune source apparente. Rosenbaum précise que « la plupart des auteurs parviennent à inclure zéro citation inventée dans leurs livres ».

« Je pense que nous avons fait ce travail de vérification de manière incroyablement efficace, mais pas à 100 % », reconnaît Rosenbaum. « On fait le travail, on fait de notre mieux. On regarde, ça semble correct. On vérifie une deuxième fois, et pourtant on a fait une erreur. »

POURQUOI LA VÉRIFICATION TRADITIONNELLE NE SUFFIT PLUS

Cette affaire montre que le processus traditionnel de vérification des faits pourrait être mal adapté à la recherche assistée par l’IA. Auparavant, un vérificateur de faits pouvait être raisonnablement confiant qu’un auteur citant des œuvres écrites avait simplement copié ces citations directement. Ces citations étaient faciles à vérifier, donc moins suspectes par nature. Mais dès que l’IA intervient dans le processus, cette hypothèse s’effondre. Il faut alors ajouter une couche supplémentaire de scepticisme pour s’assurer que les citations sont correctement attribuées ou qu’elles existent vraiment.

L’adoption massive des outils d’IA par les écrivains de tous horizons coïncide avec une période où les rédactions et les éditeurs, sous pression financière, réduisent le nombre de correcteurs et de vérificateurs de faits dans leurs processus de travail. On a vu comment des erreurs générées par l’IA peuvent se glisser dans un livre publié, même avec une couche de vérification. Le risque augmente encore pour les nombreux livres qui ne passent par aucun processus de vérification avant leur publication.

Rosenbaum est d’accord : « Les éditeurs vont devoir mettre en place de nouveaux flux de vérification conçus spécifiquement pour la recherche à l’ère de l’IA. Cela inclut probablement le traçage obligatoire des sources pour les citations, un meilleur suivi de la provenance, des normes plus claires autour de la recherche assistée par l’IA, et peut-être même (ironie suprême) des outils d’IA qui auditeront les citations en les comparant aux documents primaires. »

L'IA GÉNÈRE DES ERREURS DANS TOUS LES DOMAINES

Les exemples d’erreurs générées par l’IA deviennent malheureusement courants dans de nombreux secteurs. L’année dernière, le Chicago Sun-Times a publié une liste de lecture estivale pleine de livres inexistants, inventés par l’IA. Le New York Times a dû publier une correction majeure après que des citations attribuées au leader conservateur Pierre Poilievre se soient révélées être « un résumé généré par l’IA de ses positions ». Des publications comme Wired et Business Insider ont retiré plusieurs articles attribués à une certaine « Margaux Blanchard », qui semblaient être générés par l’IA. Les conférences scientifiques sont également touchées par des articles contenant des citations hallucinées, et la plateforme de prépublication arXiv a récemment instauré une politique d’interdiction totale pour tenter de limiter le problème.

Même Ars Technica n’est pas épargné. Plus tôt cette année, le site a retiré un article après qu’un ancien journaliste ait utilisé un outil d’IA conçu pour extraire des citations mot pour mot d’un article de blog source… mais l’outil a généré des versions fabriquées de ce que l’auteur avait réellement écrit.

L'IRONIE D'UN LIVRE SUR L'IA QUI CONTIENT DES CITATIONS INVENTÉES

Rosenbaum reconnaît l’ironie de la situation : « Je comprends que le livre reçoive de l’attention, mais ce n’est pas la façon dont j’aurais choisi de le faire connaître. » Cette ironie est « inconfortable », mais il la considère aussi comme « instructive ». « Le fait que quelqu’un qui écrit de manière critique sur l’IA et la vérification puisse encore rencontrer ces échecs te montre à quel point ces systèmes sont omniprésents et persuasifs. » Selon lui, son propre problème avec l’IA « démontre le problème de manière plus vive que n’importe quel argument abstrait ».

Peut-être. Mais si on accepte cette idée, alors chaque erreur évitable dans le monde pourrait être considérée comme une bonne chose parce qu’elle aide à révéler une énorme erreur. Et cela ne peut pas être juste : parfois, la « négligence » n’est que cela.

UNE RELATION TOXIQUE AVEC L'IA

Interrogé directement sur la façon dont il a pu succomber à certains problèmes liés à l’IA que son propre livre met en garde, Rosenbaum décrit ce qui ressemble à une relation dysfonctionnelle avec un charlatan séduisant. « En tant qu’écrivain, l’IA est souvent un compagnon d’écriture délicieux », explique-t-il. « Quand je dis ‘compagnon d’écriture’, je ne le dis pas à la légère. Elle est étrangement créative, rusée et inhabituelle à bien des égards… et puis elle te trahit de manière vraiment horrible. »

Tout au long de notre conversation, Rosenbaum cite des exemples où des erreurs évidentes de l’IA l’ont mis en rage au point de hurler sur sa machine. Ces incidents remontent à 2022, lorsque Rosenbaum a commencé à expérimenter les outils d’IA pour de « petits projets de recherche ». À l’époque, il trouvait les réponses de l’IA « spectaculairement utiles » dans 8 cas sur 10, le reste étant des « fabulations » qui « n’étaient tout simplement pas vraies ». Malgré ces erreurs, il a continué à utiliser ces outils dans sa vie et son travail.

QUAND L'IA IGNORE LES INSTRUCTIONS

Lors de notre échange, Rosenbaum donne un exemple récent : il avait demandé à un outil d’IA d’extraire ses « notes de discours, sans modification, mot pour mot » d’une présentation de 100 pages pour les utiliser dans une future intervention. Il était sur le point d’imprimer ces notes extraites quand il s’est rendu compte que le modèle de langage avait en réalité réécrit ses mots, malgré des « instructions très claires ».

« Je lui demande : ‘As-tu réécrit les mots ?’ Et il répond : ‘Eh bien, j’ai juste rendu le langage un peu plus fort.’ Eh bien, pardon, mais… putain . » s’exclame-t-il.

Même face à ce genre d’erreurs qui donnent envie de jurer, Rosenbaum reste convaincu que les outils d’IA sont trop efficaces pour qu’on puisse s’en passer. « La présentation faisait 100 pages. Pour copier-coller page par page, le texte de chaque page aurait pris une heure de travail, de copier-coller mécanique. ChatGPT l’a fait en environ quatre secondes. »

À cela, on pourrait rétorquer : oui, c’était rapide. Mais les gains d’efficacité valent-ils le coup quand les enjeux ne sont que des notes personnelles ? Le Futur de la vérité montre comment l’équilibre entre la fiabilité de l’IA et sa vitesse apparente doit être évalué très différemment lorsqu’il s’agit de recherches destinées à un livre publié.

L'EFFICACITÉ DE L'IA MASQUE SES DANGERS

Au fil de notre conversation, Rosenbaum revient sans cesse sur ce compromis entre précision et efficacité, qu’il semble reconnaître comme un problème à un certain niveau. Même s’il qualifie l’aide de l’IA en matière de recherche de « magique » et « délicieuse », il décrit la lutte contre les fabulations de l’IA et les instructions ignorées comme une lutte « pernicieuse et épuisante ».

« Ça te laisse… mal à l’aise presque à chaque fois que tu l’utilises », dit-il en parlant de la tendance de l’IA à ignorer les instructions claires. « Je n’ai jamais eu de conflit avec la technologie avant ça, honnêtement. Et pourtant, je l’utilise beaucoup. »

Face aux problèmes de son nouveau livre, je lui ai demandé si le risque d’introduire des inexactitudes qu’il pourrait ne pas détecter valait vraiment les bénéfices perçus. Sa réponse ressemble à celle d’un dépendant : « Je ne prends pas de drogues, je ne bois pas, mais je suppose que c’est un peu la question que se pose un toxicomane quand il prend un verre de trop en sachant qu’il est en train de franchir une ligne. »

« Je n’ai jamais été dans une situation où je pensais que la technologie que j’utilisais était à la fois enivrante et dangereuse. Et j’ai écrit ce livre précisément pour soulever cette préoccupation, alors si je deviens malgré tout l’exemple de quelqu’un qui n’a pas respecté les garde-fous, tant pis. »

L'IA, UNE MOTO DANGEREUSE ?

À un moment, en discutant des risques et des récompenses relatifs de l’utilisation de l’IA, Rosenbaum note qu’il roule à vélo mais ne monterait pas sur une moto. « Je sais qu’une moto me permet d’arriver plus vite à destination. Je pense que c’est dangereux et que je pourrais mourir. C’est pour ça que je n’en possède pas », explique-t-il. Dans cette analogie, l’IA est pour lui l’option « vélo », relativement sûre. Je lui ai répondu que l’efficacité surpuissante et le risque catastrophique inhérents à l’utilisation de l’IA lui donnaient plutôt l’impression d’une moto. Rosenbaum a répondu que « c’est peut-être juste » et m’a remercié d’avoir « affiné » son analogie.

Je lui ai alors posé la question évidente : allez-vous continuer à rouler à moto ?