Ollama 0.19为Apple Silicon Mac带来了MLX支持,利用Apple的machine learning框架更好地利用CPU和GPU之间的统一内存。预览版目前仅支持阿里巴巴的Qwen3.5-35B模型,需要至少32GB RAM。使用M5系列芯片的用户可通过Apple新的Neural Accelerators获得额外加速,提高tokens-per-second和time-to-first-token性能。

这很重要,因为本地AI已经在通常的爱好者群体之外获得了真正的关注。OpenClaw在GitHub上飙升至30万星标的表现显示,开发者迫切需要昂贵API订阅和rate limits的替代方案。当你达到Claude的使用上限或为编码辅助支付高价时,在本地运行一个像样的模型开始变得有吸引力——尤其是内置了隐私保护的好处。

32GB RAM的要求说明了真实情况。这并不是在普及本地AI;而是让拥有高端硬件的开发者能够使用它。Apple的统一内存架构理论上应该给Mac相比传统GPU设置带来优势,但要求高端配置限制了实际影响。预览版中的单模型支持也表明这是早期阶段的优化工作。

对于已经在运行32GB+Apple Silicon机器的开发者来说,这确实可能替代一些付费AI服务来完成编码任务。MLX内存优化的性能提升结合Neural Accelerator支持,可能最终让本地模型足够响应,适用于真实工作流程。但在支持扩展到更多模型、硬件要求降低之前,这仍然是为装备精良的early adopters准备的解决方案,而不是为寻求摆脱订阅疲劳的更广泛开发者社区。