Ollama 0.19為Apple Silicon Mac帶來MLX支援,運用Apple的machine learning框架更好地利用CPU和GPU間的統一記憶體。預覽版目前僅支援阿里巴巴的Qwen3.5-35B模型,需要至少32GB RAM。使用M5系列晶片的用戶可透過Apple新的Neural Accelerators獲得額外加速,提升tokens-per-second和time-to-first-token效能。
這很重要,因為本機AI已在一般愛好者群體之外獲得真正的關注。OpenClaw在GitHub上飆升至30萬星標的表現顯示,開發者急需昂貴API訂閱和rate limits的替代方案。當你達到Claude的使用上限或為程式碼輔助支付高價時,在本機執行一個不錯的模型開始變得有吸引力——特別是內建隱私保護的好處。
32GB RAM的需求說明了真實狀況。這並非在普及本機AI;而是讓擁有高階硬體的開發者能夠使用。Apple的統一記憶體架構理論上應該給Mac相較傳統GPU設置帶來優勢,但要求頂級配置限制了實際影響。預覽版的單一模型支援也顯示這是早期階段的最佳化工作。
對於已經在執行32GB+Apple Silicon機器的開發者而言,這確實可能取代一些付費AI服務來完成程式碼任務。MLX記憶體最佳化的效能提升結合Neural Accelerator支援,可能最終讓本機模型足夠回應,適用於真實工作流程。但在支援擴展到更多模型、硬體需求降低之前,這仍然是為裝備精良的early adopters準備的解決方案,而非為尋求擺脫訂閱疲勞的更廣泛開發者社群。
