MIT Technology Review 的 Eileen Guo 周三发表了一份关于 AI 聊天机器人在输出里吐出真实、可拨通的电话号码的实质性隐私调查。被点名的当事人是 Daniel Abraham,以色列 28 岁的软件工程师,他开始收到陌生人在 WhatsApp 上发来询问 PayBox 客服支持的消息——Google Gemini 一直把他的私人号码当作 PayBox 的 WhatsApp 客服电话来编。Abraham 不在 PayBox 工作;PayBox 不提供 WhatsApp 客服;PayBox 已向 MIT Tech Review 确认这一点。记者独立查询 Gemini 时,得到的是另一个人的号码——一位以色列信用卡公司员工的号。另两起记录在案的案例:一位 Reddit 用户被找"律师、产品设计师、锁匠"的来电淹没了一个月(显然是 Google AI 把电话指错了地方),以及一位华盛顿大学的博士候选人随手玩着就让 Gemini 吐出了同事的个人手机号。
要钉住的硬数据来自 DeleteMe(个人信息删除公司):过去七个月里,与生成式 AI 相关的客户咨询激增 400%,达到低位四位数。用户抱怨的聊天机器人构成:ChatGPT 55%、Gemini 20%、Claude 15%、其它 10%。DeleteMe 的 CEO Rob Shavell 描述了两种失败模式:(1) 用户问聊天机器人关于自己的事情,得到准确的家庭住址、电话、家庭成员、或雇主信息;(2) 用户上报聊天机器人吐出了别人的联系信息,有时是"看起来合理但错误"的。两种模式都在主要聊天机器人上出现。加州 data broker 注册系统又添一个数据点:578 家登记的 broker 中,有 31 家在过去一年自报曾把消费者数据卖给或共享给 GenAI 开发商——只是注册数中的一小部分,但这是一条可被测量的、把 PII 通向训练集的正式渠道。
机制部分是 builder 必须内化的。LLM 训练抓取包含数亿条 PII——Abraham 的号码,例如,看起来是 2015 年在一个类 Quora 的本地站点上被发过一次,这一条 11 年前的帖子是 Gemini 当下复现该号码最可能的来源。去年夏天记录的 DataComp CommonPool 数据集里包含了被扫描的简历、驾照、信用卡。模型会把训练集里的数据原样记住并复现,而近期研究表明并不只是高频内容会被记住——稀有项目也可能被留下来。标准护栏(PII 内容过滤、Claude 的"最少个人信息"指令)能抓到一部分,但当模型把 PII 当作权威性的客服资料、而不是当作私人内容时,这些护栏会肉眼可见地失效。结构性修复在训练数据预处理那一层,而不是在输出过滤——但目前还没有任何主要实验室发布过一份完整的 PII 删除审计,可以让第三方验证它们的训练语料是干净的。
对 builder:如果你的产品在 foundation model 之上做封装、并把输出暴露给终端用户,PII 泄漏现在是一块真实的攻击面。三件具体的事:(1) 在把模型回复转给用户之前,在输出侧加上电话/邮箱/地址的正则 + 命名实体检测,把它们视作要压制或重写的内容策略违规;(2) 向你的模型供应商索要关于训练数据 PII 删除做法和记忆缓解技术(differential privacy、去重、k-anonymity)的文档——大多数会闪躲,但这个提问留下了书面痕迹;(3) 给终端用户搭一个"这条输出暴露了我的信息"的上报通道,带一条快速的撤回流程。对终端用户和政策制定者:DeleteMe 这 400% 激增是这类伤害不再是理论的领先指标,而结构性修复处在实验室层级,这意味着监管压力是最可能的杠杆。Abraham 的那句话——"如果我反过来要钱才帮你'解决'这个客服问题呢?"——把伤害的形状命名出来了:不只是骚扰电话,而是一种新的攻击面,坏人可以把 Gemini 错导的流量变现。