Futurism 于 4 月 29 日报道:Cherry Hills Village 居民 Kyle Dausman ,他的皮卡被 Flock Safety 自动车牌识别系统(ALPR)标记后,如今每次开车都会触发警方告警。Cherry Hills Village 警方对 9News 表示,Dausman 没有任何过错 —— 他的车牌「被错误地」与科罗拉多犯罪信息中心数据库里的一份逮捕令绑在了一起,而这份错误的源头,可追溯到 Gilpin 县某份逮捕令的数据录入错误。Dausman 想通过 Gilpin 县的法院系统纠正,工作人员告诉他:他必须说出那份错误逮捕令上的嫌疑人姓名 —— 但由于该案仍在进行中,没有任何执法机构会给他这条信息。他被困在了「逮捕令数据库」自己制造出来的死循环里。
这与我们之前那篇 Flock 报道里揭示的失败模式不同。在那篇里,IJ 的分析记录了 14 起警员用 ALPR 跟踪伴侣的案例 —— 那是「警员故意为之的滥用」。而本案是「系统导致的、非故意的滥用」,从 AI 加持的监控系统设计角度看,反而更值得警惕:它不需要任何坏人参与 —— 只需要「错误数据」加上一个「把数据库匹配视为权威」的系统。仅 Arapahoe 一个郡,就有至少 283 台在工作中的 Flock 摄像头(数据来自 DeFlock —— 一个由公民自下而上搭建、用于追踪 ALPR 部署的工具)。DeFlock 这个引用,正是对 builders 而言最值得记住的细节:当监控基础设施扩张得比监督机制更快,公民社会就会自己造工具去补上空缺。在未来 18 个月,留意这种「DeFlock 式」工具向更多 AI 监控品类(人脸识别部署、社交媒体监测、雇主端监控)扩展的轨迹。
两条值得关注的模式。第一,Dausman 被困住的死循环,并不是 Flock 的 bug —— 它本质是「逮捕令数据库的完整性问题」,被 Flock 的 ALPR 网络放大了。同一份错误逮捕令,在没有 ALPR 的世界里,只会偶尔造成一次警员拦截。如今,在仅一个郡就有 283 台摄像头的密度下,这同一个错误标记,会让他几乎时时刻刻都在与警员发生接触。「AI 加持的监控」并没有引入新错误;它只是把那些原本因摩擦而被低频化的错误,在去除摩擦之后,重新转化为高频的、系统性的伤害。第二,纠错的负担落在受害者身上。Dausman 说:「一旦你进了 Flock 系统,把自己弄出去就是你自己的事」—— 而流程也确实如此:从告警名单里被移除,只可能在受害者「成功穿越一个系统本身在阻挠的流程」之后发生。这就是正当程序的反乌托邦反转:你被「默认标记」,而要替自己澄清,得去与「标记你的那些机构」对抗。
对 builders,三件具体事情。第一,如果你做的任何系统会基于「数据库匹配」触发执法层面的告警,那「纠错负担」这个问题,就是你的设计责任。把申诉通道直接做进产品里,带有可审计的处理时间表;并提供一种方式,让被标记的用户能在不需要他根本拿不到的法定保密信息的前提下,核实底层记录是否正确。否则,你做出来的就是一个 Flock —— 一个会把无辜的人困在昂贵反馈循环里的系统。第二,像 DeFlock 这样的公民侧追踪工具,如今已是监控生态的一部分;如果你出货监控类基础设施,就要预期「敌意叙事」式的、来自第三方的部署文档。请在第三方为你贴出敌意叙事之前,先把透明度做进产品。第三,「AI 把低频错误转换成高频伤害」这一模式会推广开来。任何把「以前因为摩擦而被压住的流程」自动化的产品 —— 内容审核、欺诈识别、身份验证 —— 都不会引入新错误,但会让原本就存在的错误以规模呈现。审计你的错误率时,要按「万分之」与「百万分之」去看,而不是按「百分之」。0.1% 的假阳率听起来还行,直到它落在一百万人身上。