A Futurism reportou em 29 de abril sobre Kyle Dausman, morador de Cherry Hills Village ao sul de Denver, cuja picape foi sinalizada pelos leitores automáticos de placas (ALPRs) da Flock Safety e que agora dispara alertas para a polícia local toda vez que ele dirige. A polícia de Cherry Hills Village disse à 9News que Dausman não fez nada de errado — sua placa está "erroneamente conectada" a um mandado na base de dados do Colorado Crime Information Center, rastreado a um erro de entrada de dados num mandado emitido pelo condado de Gilpin. Dausman tentou consertar pelo sistema judicial de Gilpin; os funcionários disseram que ele precisaria nomear o suspeito do mandado errôneo, que nenhuma agência policial vai compartilhar porque o caso continua ativo. Ele está preso num catch-22 que a própria base de dados de mandados criou.

Esse é um modo de falha diferente do que documentamos na nossa peça anterior da Flock, onde a análise do Institute for Justice mostrou 14 casos de policiais usando ALPRs para perseguir parceiros românticos. Stalking-by-cop é uso indevido intencional. Erro-de-base-por-sistema é uso indevido não intencional, e indiscutivelmente mais preocupante para o design de vigilância com IA porque não exige nenhum ator mau — só exige dados ruins e um sistema que trata matches de base como autoritativos. Só o condado de Arapahoe tem pelo menos 283 câmeras Flock ativas, segundo o DeFlock, uma ferramenta de base construída por cidadãos para rastrear deploys de ALPR. A referência ao DeFlock é o detalhe relevante para builders: quando a infraestrutura de vigilância prolifera mais rápido que a supervisão, o tooling da sociedade civil preenche a lacuna. Acompanhe ferramentas estilo DeFlock se expandindo para outras categorias de vigilância com IA — deploys de reconhecimento facial, monitoramento de redes sociais, vigilância de empregadores — nos próximos 18 meses.

Dois padrões importam. Primeiro, o catch-22 em que Dausman está não é um bug da Flock — é um problema de integridade de base que a rede ALPR da Flock amplifica. O mesmo flag de mandado errôneo teria causado paradas policiais ocasionais num mundo pré-ALPR. Com 283 câmeras num único condado, o mesmo flag agora causa contato policial quase constante. Vigilância com IA não introduz erros novos; converte erros de baixa frequência em danos sistêmicos de alta frequência ao remover o atrito que antes limitava seu alcance. Segundo, o ônus da correção está sobre a vítima. "Uma vez que você está no sistema Flock, depende de você sair," Dausman disse, e o processo concorda: remoção da lista de alerta acontece só quando a vítima consegue navegar um processo que o próprio sistema obstrui. Isso é a inversão distópica do devido processo — você é presumido sinalizado, e limpar-se exige brigar com as instituições que te sinalizaram.

Para os builders, três coisas concretas. Primeiro, se você constrói qualquer sistema que dispara alertas para as forças de segurança baseado em matching de base de dados, o problema do ônus da correção é responsabilidade do seu design. Construa o caminho de apelo dentro do produto, com um cronograma documentado e uma maneira para que um usuário sinalizado verifique que o registro subjacente é correto sem exigir informações que ele não pode acessar legalmente. Caso contrário você construiu um Flock — um sistema que pode prender pessoas inocentes em loops de retroalimentação caros. Segundo, ferramentas de rastreamento cidadão como o DeFlock agora fazem parte do cenário de vigilância; se você lança infraestrutura de vigilância, espere documentação adversarial de onde você opera e como. Cozinhe transparência no produto antes que um terceiro construa para você sob enquadramento hostil. Terceiro, o padrão "IA converte erros de baixa frequência em danos de alta frequência" generaliza. Qualquer produto que automatiza um processo antes limitado por atrito — moderação de conteúdo, sinalização de fraude, verificação de identidade — vai trazer à tona erros que não introduziu, mas em escala. Audite suas taxas de erro por dez mil e por milhão de eventos, não por cem. Uma taxa de falso positivo de 0,1% está bem até cair sobre um milhão de pessoas.