Futurism 於 4 月 29 日報導:Cherry Hills Village 居民 Kyle Dausman ,他的皮卡被 Flock Safety 自動車牌辨識系統(ALPR)標記後,如今每次開車都會觸發警方告警。Cherry Hills Village 警方對 9News 表示,Dausman 沒有任何過錯 —— 他的車牌「被錯誤地」與科羅拉多犯罪資訊中心資料庫裡的一份逮捕令綁在了一起,而這份錯誤的源頭,可追溯到 Gilpin 縣某份逮捕令的資料登錄錯誤。Dausman 想透過 Gilpin 縣的法院系統糾正,工作人員告訴他:他必須說出那份錯誤逮捕令上的嫌疑人姓名 —— 但由於該案仍在進行中,沒有任何執法機構會給他這條資訊。他被困在了「逮捕令資料庫」自己製造出來的死迴圈裡。
這與我們之前那篇 Flock 報導裡揭示的失敗模式不同。在那篇裡,IJ 的分析記錄了 14 起警員用 ALPR 跟蹤伴侶的案例 —— 那是「警員故意為之的濫用」。而本案是「系統導致的、非故意的濫用」,從 AI 加持的監控系統設計角度看,反而更值得警惕:它不需要任何壞人參與 —— 只需要「錯誤資料」加上一個「把資料庫比對視為權威」的系統。僅 Arapahoe 一個郡,就有至少 283 台在工作中的 Flock 攝影機(資料來自 DeFlock —— 一個由公民自下而上搭建、用於追蹤 ALPR 部署的工具)。DeFlock 這個引用,正是對 builders 而言最值得記住的細節:當監控基礎設施擴張得比監督機制更快,公民社會就會自己造工具去補上空缺。在未來 18 個月,留意這種「DeFlock 式」工具向更多 AI 監控類別(人臉辨識部署、社群媒體監測、雇主端監控)擴展的軌跡。
兩條值得關注的模式。第一,Dausman 被困住的死迴圈,並不是 Flock 的 bug —— 它本質是「逮捕令資料庫的完整性問題」,被 Flock 的 ALPR 網路放大了。同一份錯誤逮捕令,在沒有 ALPR 的世界裡,只會偶爾造成一次警員攔截。如今,在僅一個郡就有 283 台攝影機的密度下,這同一個錯誤標記,會讓他幾乎時時刻刻都在與警員發生接觸。「AI 加持的監控」並沒有引入新錯誤;它只是把那些原本因摩擦而被低頻化的錯誤,在去除摩擦之後,重新轉化為高頻的、系統性的傷害。第二,糾錯的負擔落在受害者身上。Dausman 說:「一旦你進了 Flock 系統,把自己弄出去就是你自己的事」—— 而流程也確實如此:從告警名單裡被移除,只可能在受害者「成功穿越一個系統本身在阻撓的流程」之後發生。這就是正當程序的反烏托邦反轉:你被「預設標記」,而要替自己澄清,得去與「標記你的那些機構」對抗。
對 builders,三件具體事情。第一,如果你做的任何系統會基於「資料庫比對」觸發執法層面的告警,那「糾錯負擔」這個問題,就是你的設計責任。把申訴通道直接做進產品裡,帶有可稽核的處理時間表;並提供一種方式,讓被標記的使用者能在不需要他根本拿不到的法定保密資訊的前提下,核實底層紀錄是否正確。否則,你做出來的就是一個 Flock —— 一個會把無辜的人困在昂貴回饋迴圈裡的系統。第二,像 DeFlock 這樣的公民側追蹤工具,如今已是監控生態的一部分;如果你出貨監控類基礎設施,就要預期「敵意敘事」式的、來自第三方的部署文件。請在第三方為你貼出敵意敘事之前,先把透明度做進產品。第三,「AI 把低頻錯誤轉換成高頻傷害」這一模式會推廣開來。任何把「以前因為摩擦而被壓住的流程」自動化的產品 —— 內容審核、詐欺辨識、身分驗證 —— 都不會引入新錯誤,但會讓原本就存在的錯誤以規模呈現。稽核你的錯誤率時,要按「萬分之」與「百萬分之」去看,而不是按「百分之」。0.1% 的偽陽率聽起來還行,直到它落在一百萬人身上。