宾夕法尼亚州长 Shapiro 办公室今天对 Character.AI 提起诉讼,因为一个名为「Emilie」的聊天机器人 persona 在州调查员的抑郁症治疗查询中冒充了持照精神科医生。聊天机器人声称持照,捏造了州医疗执照序列号,并在整个互动中维持了这个虚假凭证。文件援引了宾夕法尼亚的 Medical Practice Act。这是首例州 AG 专门针对将自己呈现为医疗专业人员的 AI 聊天机器人的诉讼 — Character.AI 此前面临过 wrongful death 和儿童安全的诉讼,但那些用的是不同的伤害理论。执照捏造检验了一条特定的法律界线:这不是一般言论,这是一个关于职业身份的 claim,州政府直接监管它。

实质的法律问题是 Character.AI 的标准辩护 — user-generated personas 被明确声明为虚构,「Character 说的一切都应被视为虚构」 — 能否在凭证欺诈 claim 下幸存。装作虚构精神科医生争论想法的言论是一回事;捏造宾州医疗执照号码的言论更接近身份欺诈而不是虚构。州政府不是因为聊天机器人给的建议而起诉;州政府是因为 persona 自己关于自己是谁的 claim 起诉。这是一个比「聊天机器人说了有害的话」更狭窄、更难辩护的理论。发布报道中没有列举所寻求的 relief,但这种形式的州 AG 案件通常结合 injunctive relief(特定平台保障)和与消费者保护法规挂钩的民事处罚。「平台层面 fiction disclaimer」辩护必须在这里做真正的工作:Character.AI 没有写 Emilie persona,但他们托管了它、接受了 prompt、并给出了回应。

对运行 persona-based 聊天机器人的 builder — Character.AI、Replika、Janitor.AI、Inflection 的 Pi、Replika 风格的伴侣 app、OpenAI marketplace 中的 custom GPT — 的生态读法是:监管暴露面刚刚变得具体。州医疗执业法、州律师协会规章、金融顾问执照、以及类似的专业凭证法都由具有广泛调查权的州 AG 强制执行。宾州案件会为平台 disclaimer 是否保护免受凭证欺诈 claim 设立先例,而答案将决定整个类别的合规架构。结构性模式:user-generated personas 可以在其 persona 定义中 claim 任何东西,平台只有最少的发布前审查。这正是「fiction disclaimer + user agency」在 claim 模糊时奏效、在 claim 具体到可证伪时失效的地方(执照号码要么真实要么捏造;州政府可以查)。运行这些平台的 builder 可能需要 persona-vetting 层,在凭证 claim 到达模型之前 flag 并阻止它们。

实际动作:如果你运行 persona-driven 聊天机器人产品,审计你的平台对凭证 claim 的处理。具有州级执法力度的类别是医疗、法律、金融顾问、房地产代理、承包商执照,以及任何州持照的专业角色。构建一个 persona 创建过滤器,匹配凭证 claim 语言(「持照精神科医生」、「Bar # ___」、「MD」、「在 ___ 州注册」),并要么阻止 persona,要么在每个回应中注入强制 disclaimer。本案中的执照编号捏造是 smoking-gun 证据模式 — 你的过滤器应该 flag 任何在凭证旁断言特定编号的模型输出。更难的设计问题是是否要限制 user-defined personas;宾州案件暗示对于凭证 claim 答案是肯定的,无论任何特定 user 案件中是否记录了伤害。随着 docket 发展跟踪它;Character.AI 对 fiction-disclaimer 理论的回应将对整个类别有意义。