一個擁有700萬參數的Tiny Recursion Model (TRM)正在超越比它大數千倍的主流推理模型,包括GPT-4和Claude,其關鍵在於從根本上改變了AI處理問題的方式。TRM捨棄了傳統的前饋架構(單次處理輸入),而是使用小型MLP模組迭代優化推理過程,本質上是用計算空間換取思考時間。該模型在ARC-AGI基準測試等新問題上取得了突破,在這些測試中,訓練資料的記憶化毫無用處。
這挑戰了產業十年來對規模化的執迷——即智慧只能透過更大的模型、更多參數和資料中心級別的訓練來實現的信念。像GPT-4這樣的當前推理模型之所以失敗,是因為它們本質上是token預測引擎,必須堅持其初始推理路徑,經常將早期錯誤滾雪球般放大成自信的幻覺。它們擅長適應已知解決方案,但在真正的新穎推理方面表現糟糕,暴露了它們依賴模式匹配而非邏輯推理的本質。
這一時機與整個產業更廣泛的效率推進相吻合。Alibaba的QwQ-32B最近證明,一個320億參數的模型可以匹敵頂級競爭對手,同時比DeepSeek的R1減少98%的記憶體需求。中國研究人員展示了強化學習如何使中等規模模型能夠與大規模mixture-of-experts架構競爭。與此同時,像DeepSpeed這樣的公司正在建構完整的壓縮庫,使大型模型更易於部署。
對開發者而言,這表明當前的模型選擇策略可能是錯誤的。與其預設選擇最大可用模型,獲勝策略可能是具有迭代推理能力的較小模型——特別是對於需要真正問題解決而非模式識別的應用。這可能大幅降低推理成本,同時提高邏輯一致性。
