Flock : comment la police traque les gens avec l'IA sans contrôle ?

UNE SUITE LOGICIELLE AU CŒUR DE DOZAINES DE CAS DE HARCÈLEMENT

Les derniers outils de Flock Safety offrent aux policiers plusieurs méthodes pour repérer des individus sur des images de caméras, et pas seulement leurs plaques d’immatriculation. Ces fonctionnalités s’intègrent dans un ensemble de logiciels désormais au centre de dizaines de cas de harcèlement policier. Une enquête de WIRED a récupéré et analysé ce logiciel, puis reconstitué ce que voient les agents lorsqu’ils l’utilisent.

UNE LISTE DE SURVEILLANCE ALIMENTÉE PAR L'IA

Parmi ces outils figure une liste de surveillance pilotée par l’intelligence artificielle. Un agent peut délimiter une zone sur une carte et faire en sorte que les caméras situées à l’intérieur effectuent une recherche automatisée et continue de toute personne correspondant à une description écrite.

LA POLICE FACE À LA COLÈRE DU PUBLIC

Depuis un an, Flock fait l’objet de vives critiques concernant sa technologie. Des départements de police à travers le pays ont résilié leurs contrats, et des conseils municipaux qui avaient approuvé Flock ont discrètement voté pour retirer les caméras. Deux membres du Congrès ont écrit au PDG de Flock, Garrett Langley, après qu’un adjoint du Texas ait utilisé plus de 83 000 caméras pour rechercher une femme ayant avorté. En Illinois, l’État a découvert que la société avait permis à des agents fédéraux de l’immigration d’accéder aux données des caméras, en violation de la loi locale.

LES CHANGEMENTS ANNONCÉS PAR FLOCK : TROP PEU, TROP TARD ?

UNE IA QUI DÉCIDE SEULE DES DESCRIPTIONS AUTORISÉES

Des experts en technologies policières et en filtrage automatisé estiment que Flock a confié à son intelligence artificielle une tâche que aucune technologie ne réalise de manière fiable. Le système de Flock décide, à l’insu du département qui l’utilise, quelles descriptions un agent peut rechercher. Aucun filtre à cette échelle n’est précis, soulignent les experts. De plus, personne en dehors de l’entreprise ne peut mesurer la fréquence des erreurs commises par le système, ni leur nature. Les utilisateurs se retrouvent dans une situation délicate : Flock avertit elle-même les policiers que les résultats peuvent être inexacts ou incomplets et ne doivent pas être utilisés seuls, mais la société reporte la responsabilité des erreurs sur l’agent qui lance la recherche.

POLITIQUE, RELIGION, CULTURE : LES MOTS QUI NE BLOQUENT PAS LES RECHERCHES

Certaines décisions prises par Flock sont plus difficiles à défendre que d’autres. Le système de l’entreprise attribue un score à la description écrite d’un agent en fonction de plusieurs catégories sensibles, dont la race, la religion, et l’expression politique, sociale et culturelle. Cette dernière catégorie est la seule à ne pas bloquer une recherche.

Tom Bowman, conseiller en politique de sécurité au Center for Democracy and Technology, souligne que la catégorie la moins protégée par Flock est justement celle que les tribunaux protègent le plus. L’expression politique et culturelle relève, selon lui, de l’un des domaines les plus protégés par le Premier Amendement. Pourtant, c’est précisément cette catégorie qui suscite le moins d’inquiétude du point de vue policier.

FLOCK RÉPOND, MAIS GARDE SES SECRETS

WIRED a envoyé à Flock une description détaillée de chacune de ses conclusions, accompagnée de 16 questions. La société a répondu par un communiqué indiquant que ses outils de recherche sont conçus pour aider la police à trouver des informations pertinentes tout en maintenant des garde-fous clairs sur la manière dont la technologie peut être utilisée. Les requêtes sont évaluées en fonction des politiques de contenu de Flock, précise le communiqué. Celui-ci ne décrit pas comment le modèle d’IA a été construit, quelles instructions il suit, ni ce qui différencie un verdict d’un autre.

Les données circulent dans les deux sens. Lorsqu’un logiciel signale une recherche, il envoie à Flock le texte utilisé par l’agent, la catégorie et le score de confiance attribués par le modèle, ainsi que l’action suivante de l’agent : poursuivre, ignorer ou contester l’avertissement. Le communiqué de Flock ne précise pas combien de temps ces enregistrements sont conservés, qui au sein de l’entreprise peut y accéder, ni s’ils sont utilisés pour évaluer ou améliorer le système de modération.

CHAQUE OUTIL DE FLOCK FONCTIONNE DIFFÉREMMENT

L’interface de Flock propose plusieurs outils, et chacun fonctionne de manière distincte. Par exemple, une recherche utilisant du texte pour trouver des images génère un classement statistique des séquences qui correspondent le mieux aux mots saisis. Chaque image capturée par une caméra est stockée sous forme d’un ensemble de chiffres décrivant ce qu’elle montre, et toute description saisie dans la barre de recherche est convertie en chiffres de la même façon. Un modèle compare ensuite ces deux ensembles, classant les séquences les plus proches en haut de la liste. Tout élément susceptible d’influencer ce classement — filtres supplémentaires, seuils ou instructions envoyés au modèle de Flock — reste invisible sur les serveurs de l’entreprise.

SMART SORT : L'AGENT DÉCIDE DE CE QUI EST PERTINENT

Une fonctionnalité appelée Smart Sort permet à l’agent d’approuver ou de rejeter chaque image qui apparaît. Quelques votes suffisent à réorganiser le classement, en plaçant en haut les séquences qui ressemblent aux images approuvées. Une infobulle demande : « Trop de résultats ? Votez sur quelques images pour affiner rapidement votre recherche. »

LA RECHERCHE DE VÉHICULES VS LA RECHERCHE DE PERSONNES

Pour rechercher un véhicule, l’agent choisit parmi des menus déroulants proposant des couleurs, des types de carrosserie, des marques, des modèles et des caractéristiques comme les barres de toit ou les autocollants. En revanche, pour une recherche de personne, il n’existe aucun filtre et seule une description écrite est acceptée. Un exemple proposé par le système : « personne portant une blouse ». Flock appelle cette recherche en langage naturel FreeForm et affirme l’avoir vendue pendant des années. En juillet, 404 Media a révélé que des agents utilisaient FreeForm pour rechercher des personnes à partir de descriptions de vêtements ou de tatouages.

Flock précise que les recherches standard de véhicules et FreeForm sont des fonctionnalités distinctes : la recherche standard repose sur des attributs définis de véhicules, tandis que FreeForm s’appuie sur des descriptions en langage naturel. Sur les caméras vidéo, FreeForm permet de rechercher des « vêtements, couleurs, objets ou autres détails pertinents pour l’enquête ». Sur les caméras de plaques d’immatriculation, elle est limitée aux véhicules, et les attributs des personnes ne peuvent pas y être recherchés.

LE CODE RÉVÈLE CE QUE LES POLICIERS VOIENT — ET CE QU'ILS NE VOIENT PAS

Le code récupéré par WIRED à l’aide d’un logiciel personnalisé qui collecte les fichiers envoyés par Flock à un navigateur avant la connexion de l’utilisateur détaille les types de recherches que les policiers peuvent effectuer, les contrôles et avertissements qu’ils voient, et la manière dont un résultat devient la base du suivant. En revanche, ce code ne donne pas accès aux résultats des recherches, aux flux des caméras, aux paramètres des départements, ni au modèle d’IA qui répond aux requêtes des policiers.

Le code récupéré par WIRED contient l’interface utilisateur de Flock et montre à la fois les appels réseau qu’elle effectue et les réponses qu’elle attend. Il révèle que, pour l’instant, les départements peuvent configurer l’outil pour certaines recherches sans fournir de motif ou de numéro de dossier lié à une enquête réelle. Ils peuvent également désactiver le système automatisé qui signale les usages suspects. Flock indique que ces contrôles deviendront obligatoires d’ici la fin de l’année.

Flock affirme que l’activité de recherche est enregistrée dans des journaux d’audit et que les restrictions de recherche s’appliquent à l’ensemble de ses outils. La société n’a pas précisé si quelque chose sur ses serveurs empêcherait une recherche soumise sans motif ou numéro de dossier.

LES DÉRIVES : DES POLICIERS QUI TRAQUENT LEURS PROCHES

Les policiers ont déjà utilisé le logiciel de Flock pour suivre des personnes sans lien avec une enquête policière. Selon The Washington Post, au moins 50 policiers aux États-Unis ont été récemment inculpés ou accusés d’avoir mal utilisé des lecteurs de plaques d’immatriculation. Quarante-six de ces cas impliquent Flock. Dans plus de la moitié des cas, la cible présumée était une épouse, une petite amie, un·e ex-partenaire, le/la nouveau/nouvelle partenaire d’un·e ex, ou une femme que l’agent souhaitait rencontrer.

Les rapports sur les manquements professionnels des policiers regorgent de détails sur les abus de bases de données policières : un agent de Milwaukee a recherché une femme qu’il fréquentait 124 fois et son ancien partenaire 55 fois, enregistrant chaque recherche comme une « enquête ». Un chef de police en Géorgie a effectué 600 recherches sur son ex-petite amie et sa fille, a été inculpé, puis s’est suicidé cinq mois plus tard. Un chef de police au Kansas, qui n’a jamais été inculpé, a recherché son ex 164 fois et son petit ami 64 fois, avant de perdre son badge. Une agente en Caroline du Nord a recherché 31 fois l’ex-femme de son petit ami et classé 29 de ces recherches comme des infractions routières.

L'UTILISATION ABUSIVE DES BASES DE DONNÉES : UN PROBLÈME ANCIEN

Une enquête de l’Associated Press en 2016 avait révélé que des policiers effectuaient des recherches dans des bases de données sur des ex-partenaires ou des personnes qu’ils trouvaient attirantes. Entre 2013 et 2015, plus de 325 employés de police dans des agences d’État et des départements majeurs du pays avaient été licenciés, suspendus ou contraints de démissionner pour ce type de manquements. En 2023, WIRED avait rapporté que des employés et contractuels d’Immigration and Customs Enforcement avaient été investigués au moins 414 fois depuis 2016 pour avoir mal utilisé des bases de données gouvernementales sensibles. Cette année-là, des centaines d’autres allégations avaient été déposées contre des employés de Customs and Border Protection, dont des agents ayant utilisé des bases de données pour traquer des femmes qu’ils voulaient séduire, surveiller des membres de leur famille ou suivre les téléphones de collègues.

DEUX SYSTÈMES D'ALERTE POUR HUMAINS — ET POUR L'IA

Deux systèmes de notification dans le logiciel de Flock sont destinés aux êtres humains. Le premier est la liste de surveillance basée sur les requêtes des policiers. Elle fonctionne à partir d’une description écrite saisie par l’agent : il dessine une zone sur une carte, l’alerte s’exécute sur toutes les caméras situées à l’intérieur, et toute personne que le modèle considère comme correspondant à la description déclenche une notification. La fréquence des alertes peut être ajustée.

Le second système, appelé People Detection Alert, ne nécessite aucune description. L’agent dessine un rectangle dans le champ de vision d’une seule caméra — une porte, un trottoir — et est notifié lorsqu’une personne s’y trouve. Une seule personne suffit à déclencher l’alerte. Le logiciel n’accepte pas une alerte dont le niveau de certitude est inférieur à 75 % que ce que la caméra observe est bien une personne.

FLOCK AFFIRME PROTÉGER LE PREMIER AMENDEMENT — VRAIMENT ?

En avril, Flock a décrit son système de modération, affirmant qu’il était conçu pour garantir que les protections du Premier Amendement soient « intégrées ». Le code reconstitué par WIRED montre qu’un modèle d’IA sur les serveurs de Flock attribue un score à la description écrite d’une personne par un agent en fonction de huit catégories de contenu sensible avant de lancer la recherche dans les images stockées. Le modèle retourne ensuite l’un des trois verdicts : autoriser, bloquer ou avertir. Il s’appuie sur un score de confiance pour prendre cette décision. Comme le modèle fonctionne sur les serveurs de Flock, le département ne voit jamais ce score. Il reçoit uniquement un avertissement ou un blocage préformaté.

CE QUE LE SYSTÈME BLOQUE — ET CE QU'IL LAISSE PASSER

Les catégories de recherche bloquées incluent la race ou l’ethnie, la religion, la nationalité, les « termes subjectifs ou biaisés », et le « contenu offensant », que le code décrit comme du contenu sexuel, des sous-entendus, des mots et expressions offensants, et des insultes. En mode véhicule, l’outil bloque toute recherche utilisant des termes liés aux personnes, y compris le genre, les vêtements ou le comportement.

La religion et la nationalité sont les deux seules catégories rédigées des deux manières : avec une formulation pour le blocage et une autre pour l’avertissement, permettant à l’agent de poursuivre. L’expression politique, sociale et culturelle n’est rédigée que sous forme d’avertissement.

Flock affirme à WIRED que les policiers ne peuvent pas effectuer de recherches en utilisant des attributs interdits, y compris la religion et la nationalité, et qu’une tentative de recherche avec des termes interdits « sera bloquée ». Interrogée sur les circonstances produisant un avertissement pour ces deux catégories au lieu d’un blocage, la société n’a pas répondu.

QUAND UN T-SHIRT OU UN AUTOCOLLANT FAIT SONNER L'ALARME

Lorsqu’un t-shirt ou un autocollant déclenche un avertissement parce que le texte qu’il porte bénéficie de « protections constitutionnelles », les policiers sont informés que la recherche sera enregistrée et que les administrateurs en seront notifiés. Ils doivent alors cocher une case d’acquiescement et laisser un commentaire avant de pouvoir cliquer sur « Continuer la recherche malgré tout ».

Flock affirme que cet avertissement laisse une marge de manœuvre pour des enquêtes légitimes. La société cite l’exemple d’une victime décrivant un suspect portant une veste de gang affichant « un logo ou emblème de gang particulier contenant un drapeau ou un autre insigne ». Un agent qui poursuit la recherche est signalé à un administrateur de son propre département pour examen.

POUR LES EXPERTS, LES GARDE-FOUS SONT TROP FAIBLES

Kate Ruane, qui dirige le projet d’expression libre du Center for Democracy and Technology, étudie depuis des années le fonctionnement des systèmes de modération automatisés. Selon elle, l’expression politique, sociale et culturelle est « une catégorie incroyablement amorphe », et l’une des raisons pour lesquelles une recherche d’un policier pourrait inclure ce type de langage est de déterminer qui a participé à une manifestation. « Cela s’est déjà produit », souligne-t-elle. Elle note que c’est précisément cette catégorie qui inquiète suffisamment Flock pour que le système retourne un avertissement, « mais vous pouvez toujours obtenir les résultats si vous cliquez simplement pour continuer ».

« Aucun système de modération automatisé à grande échelle n’est nécessairement précis », déclare-t-elle. L’analyse de vidéos en mouvement, ajoute-t-elle, est encore plus difficile et échoue plus souvent.

Les catégories qui sont bloquées peuvent être contournées, selon Ruane. Le système bloque les recherches basées sur la religion, mais pas sur les vêtements. En pratique, un policier pourrait donc contourner le blocage en recherchant les vêtements distinctifs portés par certains membres d’une foi particulière. « Beaucoup de gens voient leurs images retournées en réponse à ce type de requêtes, et seraient probablement contrariés s’ils le savaient. »

Lors d’une recherche l’année dernière, un policier en Californie a saisi « drapeau américain ». La recherche a été bloquée lorsqu’elle visait une personne, mais elle a été exécutée sur 11 000 caméras lorsqu’elle visait des véhicules à la place.

LES AVERTISSEMENTS NE FONT PAS TOUJOURS EFFET

Deepak Kumar, professeur adjoint en informatique et ingénierie à l’UC San Diego, explique qu’un avertissement ne stoppe que les agents qui n’ont pas encore décidé de lancer la recherche. Kumar, qui étudie les systèmes de confiance et de sécurité, cite des interfaces conçues pour lutter contre le harcèlement en ligne, où des utilisateurs motivés causent parfois plus de dommages après avoir reçu un avertissement. Il mentionne également les alertes des navigateurs visant à détourner les internautes des sites malveillants, dont l’efficacité dépend de la manière dont les avertissements sont présentés.

« Ce type de journalisation peut être utile sur le plan administratif, pour identifier les agents ou utilisateurs finaux qui contournent souvent les avertissements, mais cette valeur dépend entièrement de la question de savoir si quelqu’un l’administre », explique Kumar. « Il fonctionne moins comme un dissuasif et plus comme un registre. »

Examiner les termes de recherche avant qu’une requête ne soit lancée permettra inévitablement de détecter de nombreuses tentatives d’abus, mais isolément, de tels garde-fous sont connus pour échouer sans une surveillance équivalente de ce que le modèle renvoie. « Les bonnes pratiques examinent à la fois les entrées et les sorties », souligne Kumar, « c’est pourquoi tant d’efforts de sécurité en matière d’IA vérifient désormais les deux pour éviter que les modèles ne génèrent des résultats dangereux. »

POUR L'ACLU, LES GARDE-FOUS SONT UNE ILLUSION

Jay Stanley, analyste principal en politique au projet Liberté d’expression, vie privée et technologie de l’ACLU, estime que le système de modération ne traite qu’une infime partie du problème. Le filtrage, selon lui, n’est « qu’une tache sur le dos d’une machine de surveillance massive » dont la base de données peut être sondée par l’IA pour des « expéditions de pêche aux limites de votre imagination ». Personne en dehors de Flock ne peut dire comment ses modèles statistiques parviennent à ces décisions.

Comme les autres réformes récentes de Flock, souligne-t-il, la modération semble conçue pour cibler les « mauvais policiers » et laisse intactes les dangers structurels de la surveillance de masse.

LA PORTÉE DES RECHERCHES : DE LA VILLE À L'ÉTAT, VOIRE AU-DELÀ

Les recherches décrites jusqu’ici sont effectuées sur toutes les personnes ou véhicules que les caméras de Flock ont capturés, aussi loin que remontent les archives stockées par une agence. En plus d’une description écrite, l’outil accepte une plaque d’immatriculation ou une photographie recadrée, renvoie des informations sur les véhicules présents à des endroits marqués par un agent sur une carte, et infère des associations à partir des schémas de conduite. Lorsqu’un policier saisit un numéro de plaque, le système lui indique les véhicules vus à ses côtés. La portée d’une recherche dépend du mode de recherche, des autorisations de l’agence et des accords qu’elle a conclus avec d’autres organisations. Une recherche peut être effectuée sur les caméras de l’agence, sur celles partagées par d’autres organisations, ou, pour certaines recherches de plaques, à l’échelle d’un État ou d’un pays.

Flock affirme que la responsabilité de la gouvernance de sa technologie incombe en grande partie aux agences locales, qui définissent elles-mêmes les règles d’accès et d’utilisation. Don De Lucca, ancien chef de la police de Miami Beach en Floride et ancien président de l’International Association of Chiefs of Police, estime que c’est en grande partie exact. Les fournisseurs peuvent recommander des garde-fous, précise-t-il, mais les départements doivent établir les règles avant que la technologie ne soit utilisée. « Cela doit être lié à une raison légale. »

Un commandant de police supervisant des enquêtes spéciales dans un département du sud de la Californie, qui a demandé à rester anonyme car il n’est pas autorisé à s’exprimer, déclare que la possibilité d’abus n’est pas unique à Flock ou aux technologies de surveillance. Les nouvelles technologies créent régulièrement des opportunités à la fois pour un usage légitime et pour un usage abusif, explique-t-il. La vraie question est de savoir « si la technologie est mise en œuvre avec des garde-fous solides, une surveillance active, une traçabilité et des conséquences en cas d’abus ».

AUDIT ASSISTANCE : LE NOUVEAU JOUJOU DE FLOCK

Face à l’intensification des critiques ce printemps, Flock a annoncé Audit Assistance, une fonctionnalité qui met en évidence des schémas méritant un examen. Flock affirme que plus d’un tiers de ses clients l’ont activée en août. Le code examiné par WIRED montre qu’elle est actuellement désactivée par défaut. Elle pourrait, selon les informations disponibles, signaler les recherches répétées par un même agent pour une même plaque, les recherches limitées aux caméras d’autres agences, et les recherches d’une même plaque sous plusieurs numéros de dossier.

Flock indique que des verrouillages de compte pour activité anormale arriveront en même temps qu’Audit Assistance. Un bureau du shérif en Caroline du Sud a activé Audit Assistance ce mois-ci, et un officier des affaires internes a identifié plus de 2 700 recherches non autorisées dès le lendemain.

UNE TECHNOLOGIE QUI DÉPASSE LES CADRES LÉGAUX

Les outils de Flock permettent aux policiers de scanner des milliers de caméras en quelques secondes, de croiser des données et de traquer des individus à partir de descriptions vagues. Pourtant, les garde-fous mis en place par l’entreprise peinent à suivre. Entre les descriptions floues, les catégories sensibles mal protégées et les risques d’abus massifs, la technologie de Flock soulève des questions majeures sur l’équilibre entre sécurité et libertés individuelles. Et si les réformes annoncées vont dans le bon sens, elles restent insuffisantes pour garantir un usage responsable.

Pour les experts, la solution ne réside pas seulement dans des avertissements ou des audits ponctuels, mais dans une refonte profonde des systèmes de surveillance automatisée. Tant que les décisions clés restent opaques et que les responsabilités sont diluées entre les fournisseurs et les agences locales, les risques de dérives persisteront.