Futurism a rapporté le 29 avril sur Kyle Dausman, un résident de Cherry Hills Village au sud de Denver, dont le truck a été flagué par les lecteurs automatiques de plaques (ALPR) de Flock Safety pis qui déclenche maintenant des alertes à la police locale à chaque fois qu'il conduit. La police de Cherry Hills Village a dit à 9News que Dausman a rien fait de mal — sa plaque est « erronément connectée » à un mandat dans la base de données du Colorado Crime Information Center, retracée à une erreur d'entrée de données dans un mandat émis du comté de Gilpin. Dausman a essayé de régler ça à travers le système judiciaire de Gilpin; les fonctionnaires lui ont dit qu'il devrait nommer le suspect du mandat erroné, ce qu'aucune agence des forces de l'ordre va partager parce que le dossier est encore actif. Il est pris dans un catch-22 que la base de données des mandats elle-même a créé.

C'est un mode de défaillance différent de celui qu'on a documenté dans notre papier Flock précédent, où l'analyse de l'Institute for Justice montrait 14 cas de policiers qui utilisaient les ALPR pour faire de la filature de partenaires romantiques. La filature par cop, c'est de l'usage abusif intentionnel. L'erreur de base de données par le système, c'est de l'usage abusif non intentionnel, pis sans doute plus préoccupant pour le design de surveillance alimentée par IA parce que ça demande pas de mauvais acteur — juste des mauvaises données pis un système qui traite les matches de base de données comme autoritaires. Le comté d'Arapahoe à lui seul compte au moins 283 caméras Flock actives, selon DeFlock, un outil populaire bâti par des citoyens pour suivre les déploiements d'ALPR. La référence à DeFlock, c'est le détail pertinent pour les builders : quand l'infrastructure de surveillance prolifère plus vite que la supervision, le tooling de la société civile comble le vide. Surveille les outils style DeFlock qui vont s'étendre à d'autres catégories de surveillance IA — déploiements de reconnaissance faciale, monitoring de réseaux sociaux, surveillance d'employeur — dans les prochains 18 mois.

Deux patterns comptent. Premièrement, le catch-22 dans lequel Dausman est pris, c'est pas un bug Flock — c'est un problème d'intégrité de base de données que le réseau ALPR de Flock amplifie. Le même flag de mandat erroné aurait causé des interpellations policières occasionnelles dans un monde pré-ALPR. Avec 283 caméras dans un seul comté, le même flag cause maintenant un contact policier presque constant. La surveillance alimentée par IA introduit pas de nouvelles erreurs; elle convertit les erreurs basse fréquence en dommages systémiques haute fréquence en enlevant la friction qui limitait avant leur portée. Deuxièmement, le fardeau de la correction est sur la victime. « Une fois que t'es dans le système Flock, c'est à toi de t'en sortir », a dit Dausman, pis le processus est d'accord : l'enlèvement de la liste d'alerte arrive juste quand la victime réussit à naviguer un processus que le système lui-même bloque. C'est l'inversion dystopique de la procédure régulière — t'es présumé flagué, pis te disculper demande de combattre les institutions qui t'ont flagué.

Pour les builders, trois choses concrètes. Premièrement, si tu bâtis un système qui déclenche des alertes aux forces de l'ordre basé sur du matching de base de données, le problème du fardeau de correction, c'est ta responsabilité de design. Bâtis le chemin d'appel direct dans le produit, avec un calendrier documenté pis un moyen pour qu'un utilisateur flagué vérifie que le dossier sous-jacent est correct sans avoir besoin d'informations qu'il peut pas légalement accéder. Sinon t'as bâti un Flock — un système qui peut piéger des innocents dans des boucles de rétroaction coûteuses. Deuxièmement, les outils de pistage citoyens comme DeFlock font asteure partie du paysage de surveillance; si tu shippes de l'infrastructure de surveillance, attends-toi à de la documentation adversariale de où t'opères pis comment. Mets de la transparence dans le produit avant qu'un tiers le bâtisse pour toi avec un cadrage hostile. Troisièmement, le pattern « l'IA convertit des erreurs basse fréquence en dommages haute fréquence » se généralise. N'importe quel produit qui automatise un processus avant limité par la friction — modération de contenu, flagage de fraude, vérification d'identité — va faire ressortir des erreurs qu'il a pas introduites, mais à grande échelle. Audite tes taux d'erreur par dix mille pis par million d'événements, pas par cent. Un taux de faux positif de 0,1 %, c'est correct jusqu'à ce que ça atterrisse sur un million de personnes.