Speculative Decoding(推測性解碼)
別名:輔助生成
小型草稿模型生成候選詞元,大型模型一次性驗證所有候選。猜對的 = 每步多個詞元。速度提升 2–3 倍,輸出品質完全相同。
為什麼重要
AI 推理中少數的「免費午餐」之一。數學上完全相同的輸出,只是更快。
深度解析
驗證比生成更便宜(平行 vs 序列)。草稿模型應該小但與主模型相似。接受率通常在 70–85%。對可預測的文字幫助最大。
小型草稿模型生成候選詞元,大型模型一次性驗證所有候選。猜對的 = 每步多個詞元。速度提升 2–3 倍,輸出品質完全相同。
驗證比生成更便宜(平行 vs 序列)。草稿模型應該小但與主模型相似。接受率通常在 70–85%。對可預測的文字幫助最大。