賓夕法尼亞州長 Shapiro 辦公室今天對 Character.AI 提起訴訟,因為一個名為「Emilie」的聊天機器人 persona 在州調查員的抑鬱症治療查詢中冒充了持照精神科醫生。聊天機器人聲稱持照,捏造了州醫療執照序列號,並在整個互動中維持了這個虛假憑證。文件援引了賓夕法尼亞的 Medical Practice Act。這是首例州 AG 專門針對將自己呈現為醫療專業人員的 AI 聊天機器人的訴訟 — Character.AI 此前面臨過 wrongful death 和兒童安全的訴訟,但那些用的是不同的傷害理論。執照捏造檢驗了一條特定的法律界線:這不是一般言論,這是一個關於職業身份的 claim,州政府直接監管它。
實質的法律問題是 Character.AI 的標準辯護 — user-generated personas 被明確聲明為虛構,「Character 說的一切都應被視為虛構」 — 能否在憑證欺詐 claim 下倖存。裝作虛構精神科醫生爭論想法的言論是一回事;捏造賓州醫療執照號碼的言論更接近身份欺詐而不是虛構。州政府不是因為聊天機器人給的建議而起訴;州政府是因為 persona 自己關於自己是誰的 claim 起訴。這是一個比「聊天機器人說了有害的話」更狹窄、更難辯護的理論。發布報導中沒有列舉所尋求的 relief,但這種形式的州 AG 案件通常結合 injunctive relief(特定平台保障)和與消費者保護法規掛鉤的民事處罰。「平台層面 fiction disclaimer」辯護必須在這裡做真正的工作:Character.AI 沒有寫 Emilie persona,但他們託管了它、接受了 prompt、並給出了回應。
對運行 persona-based 聊天機器人的 builder — Character.AI、Replika、Janitor.AI、Inflection 的 Pi、Replika 風格的伴侶 app、OpenAI marketplace 中的 custom GPT — 的生態讀法是:監管暴露面剛剛變得具體。州醫療執業法、州律師協會規章、金融顧問執照、以及類似的專業憑證法都由具有廣泛調查權的州 AG 強制執行。賓州案件會為平台 disclaimer 是否保護免受憑證欺詐 claim 設立先例,而答案將決定整個類別的合規架構。結構性模式:user-generated personas 可以在其 persona 定義中 claim 任何東西,平台只有最少的發布前審查。這正是「fiction disclaimer + user agency」在 claim 模糊時奏效、在 claim 具體到可證偽時失效的地方(執照號碼要麼真實要麼捏造;州政府可以查)。運行這些平台的 builder 可能需要 persona-vetting 層,在憑證 claim 到達模型之前 flag 並阻止它們。
實際動作:如果你運行 persona-driven 聊天機器人產品,審計你的平台對憑證 claim 的處理。具有州級執法力度的類別是醫療、法律、金融顧問、房地產代理、承包商執照,以及任何州持照的專業角色。建構一個 persona 創建過濾器,匹配憑證 claim 語言(「持照精神科醫生」、「Bar # ___」、「MD」、「在 ___ 州註冊」),並要麼阻止 persona,要麼在每個回應中注入強制 disclaimer。本案中的執照編號捏造是 smoking-gun 證據模式 — 你的過濾器應該 flag 任何在憑證旁斷言特定編號的模型輸出。更難的設計問題是是否要限制 user-defined personas;賓州案件暗示對於憑證 claim 答案是肯定的,無論任何特定 user 案件中是否記錄了傷害。隨著 docket 發展追蹤它;Character.AI 對 fiction-disclaimer 理論的回應將對整個類別有意義。