Grok et Stability AI dans la tourmente : des milliers d’enfants victimes de CSAM généré par IA ?

L’histoire commence par un drame : un homme utilise Grok pour transformer une photo de sa belle-fille de 11 ans en 7 000 images à caractère sexuel explicite. Après son suicide, sa famille porte plainte contre X et xAI, accusant ces entreprises d’avoir fourni l’outil qui a détruit des vies. Mais le cauchemar ne s’arrête pas là. Une enquête révèle que Grok n’a alerté les autorités qu’après une demande de « viol en groupe », et que xAI a refusé de coopérer pendant des semaines. Comment un système censé protéger les enfants a-t-il pu devenir une arme ?

UNE FAMILLE DÉTRUITE PAR LES IMAGES GÉNÉRÉES PAR GROK

En mars 2025, les autorités découvrent que le beau-père d’une fillette de 11 ans a utilisé Grok pour créer 7 000 images et vidéos pédopornographiques à partir d’une seule photo. Le système d’alerte de xAI n’est intervenu que lorsque l’homme a saisi une requête pour « viol en groupe ». Une alerte CyberTip a été envoyée au National Center for Missing and Exploited Children (NCMEC), mais trop tard : l’enquête a été sabotée par xAI, qui a refusé de communiquer l’adresse IP de l’utilisateur pendant des semaines. Résultat ? Le criminel a pu continuer ses agissements, partageant ces images en échange de CSAM généré par d’autres prédateurs. Deux jours après sa libération sous caution, l’homme s’est donné la mort, plongeant la jeune fille, surnommée Jane Doe 4 dans la plainte, dans une « crise personnelle extrême ». Elle souffre désormais d’anxiété, de dépression et de pensées suicidaires.

XAI ACCUSÉ D’AVOIR BLOQUÉ L’ENQUÊTE POLICIÈRE

Selon la plainte, xAI n’a transmis à la NCMEC que la photo originale, sans inclure les 7 000 images générées ni l’adresse IP où elles ont été créées. Malgré les demandes répétées des enquêteurs, xAI n’a pas répondu, retardant l’identification du criminel. Les avocats des victimes accusent xAI de privilégier ses profits au détriment de la sécurité des enfants. Jane Doe 4 déclare : « Ils avaient tout pour aider la police à arrêter le responsable et rendre justice. Au lieu de cela, ils sont restés silencieux et ont laissé cette personne utiliser Grok pour voler mon enfance. »

UNE TECHNOLOGIE DANGEREUSE : LE « NUDIFY » À PORTÉE DE TOUS

Grok permet aux utilisateurs de « déshabiller » des images en quelques clics, une fonctionnalité facilement détournée pour créer du CSAM. Les avocats soulignent que « personne n’est à l’abri » : un prédateur peut transformer n’importe quelle photo d’enfant en images monstrueuses. Une autre victime, Jane Doe 5, a été ciblée par un proche adulte qui a partagé des images générées par Grok en ligne. Sa mère explique : « À cause de Grok, ma fille est rongée par l’anxiété et se sent impuissante face à ceux qui ont vu ces images. Aucun enfant ne devrait subir cela. »

STABILITY AI DANS LE VISIER : SES MODÈLES SERVIRAIENT À CRÉER DU CSAM

La plainte a été élargie pour inclure Stability AI, dont les modèles open-weight auraient été entraînés avec du CSAM. Ces modèles serviraient de base à des applications tierces de « nudification », utilisées par les utilisateurs de Grok pour modifier les images générées. Les avocats accusent Stability AI d’avoir volontairement affaibli ses garde-fous pour capter le marché du contenu NSFW (non adapté au travail). Selon la plainte, ces garde-fous auraient été supprimés après que les utilisateurs se soient plaints que le modèle était « trop prude ».

Les enquêteurs ont découvert que deux criminels ciblant des mineurs utilisaient des applications reposant sur les outils de Génération d’images de Stability AI. La plainte estime que « sans les modèles de Stability AI, ces applications dérivées n’existeraient pas sous leur forme actuelle et ne posséderaient pas les capacités de génération d’images et de vidéos permettant la création de CSAM ». Un rapport de juin 2025 révèle que la famille Stable Diffusion est le principal moteur de la « nudification » en ligne, représentant 42,7 % des images de ce type.

DES MILLIERS D’ENFANTS POTENTIELLEMENT VICTIMES

La plainte vise désormais deux classes de victimes : une pour xAI et une pour Stability AI. La classe xAI concerne les personnes dont des images réelles en tant que mineurs ont été modifiées par Grok pour produire des contenus sexuellement explicites. La classe Stability AI inclut les personnes harcelées via des applications basées sur ses modèles. Les avocats estiment que des milliers de mineurs pourraient rejoindre ces classes et appellent à une action coordonnée entre plateformes, législateurs, organisations de protection de l’enfance et forces de l’ordre.

L’IA GÉNÉRATIVE, UNE MENACE EN PLEINE EXPANSION

En mars 2025, la NCMEC a alerté sur une « hausse brutale » des signalements liés à l’IA générative en 2024. Plus de 1,5 million de signalements ont été reçus, dont 133 000 cas où l’information manquait pour identifier la technologie utilisée. Le rapport souligne que les entreprises d’IA évitent souvent de partager des données exploitables par la police, comme l’a montré l’exemple d’Amazon AI, dont les signalements n’ont fourni aucune information utile aux enquêteurs.

Les avocats des victimes réclament un remède simple : bloquer toute nudité dans les modèles. « Si un modèle permet ne serait-ce qu’un peu de contenu sexuel ou abusif, il est impossible d’empêcher ce modèle de générer ce type de contenu impliquant des mineurs », déclarent-ils. Annika K. Martin, avocate représentant les mineurs, dénonce xAI et Stability AI pour avoir sciemment construit des modèles « capables de produire du CSAM deepfake » avec un « mépris total pour les ravages qu’ils savaient inévitables ».

LES CHIFFRES QUI FONT FRISONNER

Les révélations de la NCMEC sont accablantes : 90 % des signalements CyberTipline de xAI en 2026 étaient « inutilisables » par la police, car xAI n’a pas fourni les informations nécessaires pour traquer les criminels. Parmi les autres faits marquants :

• • 1,5 million de signalements reçus par la NCMEC en 2025, dont une grande partie liée à l’IA générative.
• • 42,7 % des images de « nudification » en ligne proviennent de la famille Stable Diffusion.
• • Plus de 133 000 cas où la NCMEC n’a pas pu déterminer comment la technologie a été utilisée.
• • xAI a facturé la fonctionnalité de « nudification » après avoir initialement offert Grok gratuitement, selon la plainte.

UNE PLAINTE QUI FAIT BOUGER LES LIGNES ?

Les avocats espèrent que cette action en justice obligera les entreprises à revoir leurs modèles pour bloquer toute nudité, une solution qu’ils jugent indispensable. « Si vous avez un modèle qui permet ne serait-ce qu’un peu de contenu sexuel ou abusif, il est impossible d’empêcher ce modèle de générer ce type de contenu impliquant des mineurs », affirment-ils. La pression monte sur les régulateurs et les entreprises pour qu’elles prennent enfin leurs responsabilités face à cette crise.

GUERRE DES GARDE-FOUS : QUI PROFITE DE LA FAILLE ?

Selon les plaignants, xAI et Stability AI auraient délibérément affaibli leurs systèmes de sécurité pour capter un marché lucratif : la génération de contenu NSFW. xAI n’aurait réagi qu’après des signalements massifs de la NCMEC, et Stability AI aurait supprimé des garde-fous jugés trop restrictifs. Les avocats dénoncent une logique de profit au mépris de la sécurité des enfants. « Ces entreprises savent pertinemment que leurs outils permettent la création de CSAM, et pourtant elles continuent à les commercialiser sans restriction », déclare Annika K. Martin.

LE CSAM GÉNÉRÉ PAR IA : UNE MENACE SANS FRONTIÈRE

Le phénomène du CSAM généré par IA ne connaît pas de limites géographiques. Les signalements affluent de partout dans le monde, et les outils comme Grok ou Stable Diffusion sont accessibles à quiconque dispose d’une connexion internet. Les victimes, souvent mineures, se retrouvent piégées dans un cauchemar sans fin : leurs visages et leurs corps sont utilisés pour créer des contenus qu’elles n’ont jamais consentis à produire. Les experts s’accordent à dire que cette technologie représente une menace existentielle pour la protection de l’enfance.

LA RÉPONSE DES ENTREPRISES : SILENCE OU DÉNI

Ni X, ni xAI, ni Stability AI n’ont répondu aux demandes de commentaires d’Ars Technica. Pourtant, les preuves s’accumulent : des applications basées sur Stable Diffusion ont été retrouvées sur les téléphones de criminels ciblant des mineurs. Les avocats estiment que ces entreprises ferment les yeux sur les dérives de leurs outils, préférant ignorer les alertes pour ne pas nuire à leurs revenus.

LES VICTIMES : DES ENFANTS PIÉGÉS DANS UNE SPIRALE DE VIOLENCE

Jane Doe 4 et Jane Doe 5 ne sont que deux exemples parmi des milliers. Leurs témoignages décrivent une souffrance indicible : anxiété, dépression, sentiment de violation permanente. Les familles sont brisées, et les enfants doivent vivre avec l’idée que leurs images circulent sur internet, utilisées par des prédateurs. « Ma fille a l’impression que son corps ne lui appartient plus », confie la mère de Jane Doe 5. « Elle ne sait pas qui a vu ces images, et elle a peur que cela ne s’arrête jamais. »

LA NCMEC SONNE L’ALERTE : UNE CRISE QUI S’AGGRAVE

La NCMEC a tiré la sonnette d’alarme en 2025 : les signalements liés à l’IA générative ont explosé, passant de quelques centaines en 2023 à plus d’un million en 2025. Pourtant, dans plus de 133 000 cas, l’organisme n’a pas pu identifier la technologie utilisée, faute d’informations suffisantes de la part des entreprises. « Sans une coopération transparente des plateformes, nous ne pourrons pas protéger les enfants », déclare un porte-parole de la NCMEC.

LES SOLUTIONS PROPOSÉES : BLOQUER LA NUDITÉ DANS LES MODÈLES

Face à cette crise, les avocats des victimes et les experts en protection de l’enfance réclament une solution radicale : bloquer toute génération de nudité dans les modèles d’IA. « Si un modèle permet ne serait-ce qu’un peu de contenu sexuel ou abusif, il est impossible d’empêcher ce modèle de générer ce type de contenu impliquant des mineurs », expliquent-ils. Cette mesure, bien que drastique, est jugée indispensable pour éviter de nouvelles victimes.

L’IMPACT SUR LES FAMILLES : UN TRAUMATISME À VIE

Les conséquences pour les victimes et leurs familles sont dévastatrices. Les enfants développent des troubles anxieux, des dépressions sévères, et dans certains cas, des tendances suicidaires. Les parents, eux, se sentent impuissants face à une menace qu’ils ne peuvent ni contrôler ni comprendre. « Nous avons tout perdu à cause de cette technologie », confie la famille de Jane Doe 4. « Notre fille ne sera plus jamais la même. »

LA PLAINTE COLLECTIVE : UN COMBAT POUR LA JUSTICE

Les avocats des victimes ont déposé une plainte collective pour représenter des milliers de mineurs potentiellement touchés par le CSAM généré par IA. Ils demandent des dommages et intérêts, mais surtout, ils veulent forcer les entreprises à prendre leurs responsabilités. « Ces entreprises doivent être tenues pour responsables de la souffrance qu’elles ont causée », déclare Annika K. Martin. « Elles savaient, et elles ont choisi de fermer les yeux. »

UNE TECHNOLOGIE QUI DÉTRUIT DES VIES : LE POIDS DES PREUVES

Les preuves contre xAI et Stability AI sont accablantes. Des applications basées sur Stable Diffusion ont été retrouvées sur les appareils de criminels. Les signalements de la NCMEC montrent que 90 % des alertes de xAI étaient inutilisables. Les avocats estiment que ces entreprises ont sciemment ignoré les risques pour capter un marché lucratif. « Elles ont sacrifié la sécurité des enfants sur l’autel du profit », déclare un expert en protection de l’enfance.

QUEL AVENIR POUR LES VICTIMES ?

Les victimes et leurs familles réclament une action immédiate : blocage des contenus de nudité dans les modèles, coopération totale avec les autorités, et indemnisation pour les dommages subis. Les avocats appellent à une mobilisation générale des plateformes, des législateurs et des organisations de protection de l’enfance. « Sans une réponse coordonnée, des milliers d’enfants continueront à souffrir », avertissent-ils. Le combat pour la justice ne fait que commencer.

LA RÉACTION DES EXPERTS : UNE CRISE QUI DEMANDE DES SOLUTIONS RADICALES

Les experts en intelligence artificielle et en protection de l’enfance tirent la sonnette d’alarme. Selon eux, la crise du CSAM généré par IA est l’une des pires menaces posées par l’IA à ce jour. « Nous sommes face à une technologie qui permet à n’importe qui de créer des images monstrueuses à partir d’une simple photo », déclare un chercheur en éthique de l’IA. « Les garde-fous actuels sont insuffisants, et il est urgent d’agir avant qu’il ne soit trop tard. »

LES ENTREPRISES FACE À LEUR RESPONSABILITÉ

La question se pose : jusqu’où doivent aller les entreprises pour protéger les enfants ? Faut-il interdire toute génération de contenu à caractère sexuel, même pour les adultes ? Faut-il imposer des garde-fous plus stricts aux modèles d’IA ? Les avocats des victimes estiment que les entreprises doivent assumer leur part de responsabilité. « Elles ne peuvent plus se cacher derrière des excuses comme ‘c’est la faute des utilisateurs’ », déclare Annika K. Martin. « Elles ont construit ces outils, et elles doivent assumer les conséquences. »

UNE MOBILISATION NÉCESSAIRE : PROTÉGER LES ENFANTS DANS L’ÈRE DE L’IA

Face à l’ampleur de la crise, les avocats, les experts et les familles des victimes appellent à une mobilisation générale. Plateformes, législateurs, organisations de protection de l’enfance et forces de l’ordre doivent travailler ensemble pour endiguer cette menace. « Nous ne pouvons plus attendre », déclarent-ils. « Chaque jour, des enfants sont victimes de ces crimes, et chaque jour de retard est un jour de plus où des vies sont brisées. »

LE VERDICT : QUI PAIERA POUR CES CRIMES ?

La plainte collective vise à faire payer xAI et Stability AI pour leur rôle dans la création et la diffusion de CSAM généré par IA. Les avocats réclament des dommages et intérêts, mais surtout, ils veulent forcer les entreprises à revoir leurs modèles pour bloquer toute nudité. « Ces entreprises doivent être tenues pour responsables », déclare Annika K. Martin. « Elles savaient, et elles ont choisi de fermer les yeux. Maintenant, elles devront en assumer les conséquences. »