Liquid AI发布了LFM2.5-350M，这是一个3.5亿参数的模型，通过放弃纯Transformer架构采用混合方法，超越了两倍大小的模型。该模型结合了10个Double-Gated Linear Input-Varying Systems (LIV)块和6个Grouped Query Attention块，实现32k上下文窗口，同时保持恒定内存使用，而不是困扰标准Transformer的二次方扩展。在28万亿tokens上训练——异常高的训练-参数比——在IFEval指令跟随基准测试中得分76.96。

这次发布很重要，因为它直接挑战了主导AI发展的"越大越好"扩展定律。当其他人都在追求数千亿参数的前沿模型时，Liquid AI正在证明架构创新可以提供更好的智能密度。混合LIV方法解决了KV缓存内存瓶颈，这使得大上下文窗口成本高昂，这可能改变我们对在内存和计算受限的边缘部署AI的思考。

值得注意的是Liquid AI明确不声称的东西——他们坦率地说LFM2.5-350M在数学、复杂编码或创意写作方面不擅长。这种诚实的定位与典型的模型发布炒作周期形成对比。该模型针对特定用例：工具调用、函数执行和结构化数据提取，其中指令跟随比一般推理能力更重要。

对于构建生产AI应用的开发者来说，这代表了针对特定工作流程的昂贵大型模型的实用替代方案。如果你在做JSON提取、API调用或结构化数据处理，一个适合较小内存占用同时处理长上下文的350M模型可以显著降低部署成本。问题是这种混合架构方法是否会影响更大的模型设计，还是仍然是边缘部署的小众优化。