The Verge 4 月 29 日报道,身份验证公司 Copyleaks 记录下了一波正在 TikTok 上投放、由 AI 生成的明星 deepfake 诈骗广告。已确认的目标包括 Taylor Swift 与 Rihanna。手法是用 AI 编辑真实片段,放进采访场景里(红毯、播客、脱口秀)。冒牌的明星推广「奖励计划」类诈骗,宣称用户看 TikTok 内容并给反馈就能赚钱。部分广告里出现 TikTok 官方品牌,但跳转都把用户带到第三方服务,去采集个人资料。具体例子:一个 AI Swift 头像怂恿用户注册一个名为「TikTok Pay」的功能;一个假 Rihanna 说「你就字面意义上看看内容、说说意见就行」。Verge 的报道明确把这件事与 Swift 4 月 22 日就其语音口头禅提交的商标申请相连接 —— 这些骗局正是那批商标在设计时所要打的目标威胁面。
两个技术信号要记。第一,手法是「用 AI 编辑真实片段」—— 而不是「从零完整合成」。这是有意为之的:用 AI 编辑过的真实片段,会保留照明、运动、构图等视觉线索,比纯合成视频更难被检测出来。当下大多数 deepfake 检测系统对完全合成内容标记得相对好,对「真实片段被换脸/换身份」标记得相对差。第二,真正让平台安全团队在意的是骗局的结构。deepfake 视频是诱饵;造成伤害的实际向量,是那条把用户带到第三方的跳转。整体禁掉deepfake,很难。禁掉「deepfake 跳转到数据收集」,容易得多 —— 平台很可能就会向这套规则收敛,因为这样可以保留 deepfake 的创意用途(恶搞、粉丝创作),同时干掉被变现的诈骗管道。注意看哪家平台先把这条规则写下来。
三条线索连在一起。第一,规模。Meta 自己的监督委员会已经承认,Instagram 与 Facebook 上的用户,每天会看到数十亿条诈骗广告,而 deepfake 是其中越来越大的一块。YouTube 称自己在「重金投入」打击针对名人的诈骗广告。光看体量,人工审核就不可能 —— 自动检测加广告主侧门禁,是唯一可行的应对。第二,IP 持有者侧的绕道。Swift 4 月 22 日就「Hey, it's Taylor Swift」等语音口头禅提交商标申请,正是因为这个 —— 当一段她的 deepfake 推销骗局时,商标给了她可以直接发起下架的法律站位,即使版权法在这里管不到。Copyleaks 记录的TikTok deepfake,正是那批商标申请所要瞄准的真实威胁面。第三,Copyleaks 自己也是个信号 —— 「认证-即-服务」类厂商已经开始公开发布威胁报告。Copyleaks 这次的角色,既是研究,也是产品营销;但它公开的遥测数据是真的。预计未来会有更多此类厂商发同类报告,他们公开的数据,将越来越多地推动平台政策辩论。
对 builders,三件具体事情。第一,如果你在做广告或内容平台,「明星 deepfake + 跳转到第三方做数据收集」就是最容易优先分流的一类信号 —— 信号清晰(明星脸 + 平台外跳转 + 新近广告主)、伤害清晰。把检测做在「跳转链」上,而不是只在视频上;在「每天数十亿条广告」的体量下,光看视频信号噪声太大,动手代价过高。第二,如果你做的是语音合成或视频生成工具,你的 trust-and-safety 故事现在必须特别回答「明星诈骗」这一具体用例。「我们不生成名人声音」是不够的 —— 攻击者会去编辑你根本没生成过的真实片段。对你自己生成的内容做来源签名,加上对公开上传内容做对照「已知名人注册库」的主动扫描,这才是基线。第三,「平台 vs IP 持有者 vs 受害者」这个三角形,会定义下一轮 AI 安全政策。受害者(被冒充的名人)负责申商标。平台(TikTok)托管伤害。认证厂商(Copyleaks)写威胁报告。最后谁来买单 —— 无论是罚款、下架,还是平台级的「内容认证」强制性要求 —— 谁就定下规则。先盯欧盟与加州。