The Verge 4 月 29 日報導,身分驗證公司 Copyleaks 記錄下了一波正在 TikTok 上投放、由 AI 生成的明星 deepfake 詐騙廣告。已確認的目標包括 Taylor Swift 與 Rihanna。手法是用 AI 編輯真實片段,放進採訪場景裡(紅毯、播客、脫口秀)。冒牌的明星推廣「獎勵計畫」類詐騙,宣稱使用者看 TikTok 內容並給回饋就能賺錢。部分廣告裡出現 TikTok 官方品牌,但跳轉都把使用者帶到第三方服務,去採集個人資料。具體例子:一個 AI Swift 頭像慫恿使用者註冊一個名為「TikTok Pay」的功能;一個假 Rihanna 說「你就字面意義上看看內容、說說意見就行」。Verge 的報導明確把這件事與 Swift 4 月 22 日就其語音口頭禪提交的商標申請相連結 —— 這些騙局正是那批商標在設計時所要打的目標威脅面。
兩個技術訊號要記。第一,手法是「用 AI 編輯真實片段」—— 而不是「從零完整合成」。這是有意為之的:用 AI 編輯過的真實片段,會保留照明、動作、構圖等視覺線索,比純合成影片更難被偵測出來。當下大多數 deepfake 偵測系統對完全合成內容標記得相對好,對「真實片段被換臉/換身分」標記得相對差。第二,真正讓平台安全團隊在意的是騙局的結構。deepfake 影片是誘餌;造成傷害的實際向量,是那條把使用者帶到第三方的跳轉。整體禁掉deepfake,很難。禁掉「deepfake 跳轉到資料收集」,容易得多 —— 平台很可能就會向這套規則收斂,因為這樣可以保留 deepfake 的創意用途(惡搞、粉絲創作),同時幹掉被變現的詐騙管道。注意看哪家平台先把這條規則寫下來。
三條線索連在一起。第一,規模。Meta 自己的監督委員會已經承認,Instagram 與 Facebook 上的使用者,每天會看到數十億條詐騙廣告,而 deepfake 是其中越來越大的一塊。YouTube 稱自己在「重金投入」打擊針對名人的詐騙廣告。光看體量,人工審核就不可能 —— 自動偵測加廣告主側門禁,是唯一可行的應對。第二,IP 持有者側的繞道。Swift 4 月 22 日就「Hey, it's Taylor Swift」等語音口頭禪提交商標申請,正是因為這個 —— 當一段她的 deepfake 推銷騙局時,商標給了她可以直接發起下架的法律站位,即使著作權法在這裡管不到。Copyleaks 記錄的TikTok deepfake,正是那批商標申請所要瞄準的真實威脅面。第三,Copyleaks 自己也是個訊號 —— 「認證-即-服務」類廠商已經開始公開發布威脅報告。Copyleaks 這次的角色,既是研究,也是產品行銷;但它公開的遙測資料是真的。預計未來會有更多此類廠商發同類報告,他們公開的資料,將越來越多地推動平台政策辯論。
對 builders,三件具體事情。第一,如果你在做廣告或內容平台,「明星 deepfake + 跳轉到第三方做資料收集」就是最容易優先分流的一類訊號 —— 訊號清晰(明星臉 + 平台外跳轉 + 新近廣告主)、傷害清晰。把偵測做在「跳轉鏈」上,而不是只在影片上;在「每天數十億條廣告」的體量下,光看影片訊號雜訊太大,動手代價過高。第二,如果你做的是語音合成或影片生成工具,你的 trust-and-safety 故事現在必須特別回答「明星詐騙」這一具體用例。「我們不生成名人聲音」是不夠的 —— 攻擊者會去編輯你根本沒生成過的真實片段。對你自己生成的內容做來源簽名,加上對公開上傳內容做對照「已知名人註冊庫」的主動掃描,這才是基線。第三,「平台 vs IP 持有者 vs 受害者」這個三角形,會定義下一輪 AI 安全政策。受害者(被冒充的名人)負責申商標。平台(TikTok)託管傷害。認證廠商(Copyleaks)寫威脅報告。最後誰來買單 —— 無論是罰款、下架,還是平台級的「內容認證」強制性要求 —— 誰就定下規則。先盯歐盟與加州。