研究人員開發了一種低成本方法,透過比較正向和反向翻譯模型之間的注意力模式來檢測神經機器翻譯模型何時產生幻覺。該技術利用現有的雙向翻譯設置——大多數組織已經運行語言1→語言2和語言2→語言1模型——來識別token級別的不確定性,無需昂貴的重新訓練或生成多個輸出。
這解決了一個實際問題:Google Translate和類似系統只顯示最終翻譯,隱藏了可以幫助更有效分配計算資源的信心程度。目前的解決方案如Semantic Entropy需要為每個輸入生成5-10個輸出(計算昂貴),而最先進的品質評估模型如xCOMET需要在昂貴的標註資料上微調35億個參數。新方法透過使用teacher forcing從現有模型對中提取轉置的交叉注意力圖來規避這兩個問題。
這項研究的出現正值專業翻譯人員對AI翻譯工具表達越來越多的擔憂,根據對跨11種語言的19名翻譯人員的訪談在相關研究中發表。這些翻譯人員擔心工作被外包給自動化系統,突出了翻譯AI透明度的重要性——這正是注意力錯位方法可以提供的。對比鮮明:研究人員專注於技術不確定性檢測,而從業人員想了解何時以及為什麼要信任AI翻譯。
對於構建翻譯系統的開發者來說,這種方法提供了實際優勢。與不解釋模型為什麼不確定的黑盒機率分數不同,注意力錯位揭示了不確定性是源於未見過的訓練樣本還是實際幻覺。大多數生產翻譯設置已經具備所需的雙向模型,使得實施變得直接,無需額外的基礎設施成本。
