SLM
为什么重要
深度解析
这个标签覆盖的是一条不断移动的界线，但实践中通常指约 0.1B 到 15B 参数的模型——凡是能在工作站、手机或单张普通 GPU 上提供服务，而不需要一整架加速器的，都算在内。SLM 之所以值得单独成为一个类别，是因为一场贯穿 2024 和 2025 年的转变，有时被概括为“小即是新大”：实验室不再只顾扩大规模，也开始投入大量精力，让小模型拥有与体量不成比例的能力。Microsoft Phi 系列、Google Gemma、Alibaba 较小的 Qwen 尺寸，以及 Mistral 的 Ministral 3B 和 8B 都证明，一款只有前沿大型语言模型百分之一大小的模型，仍能处理数量惊人的日常工作负载。于是生态分成两层：巨型模型负责困难、开放式的问题，小模型负责其余一切。
小模型如何变得这么能干
能力跃升主要来自三项技术。第一是数据质量：Phi 产品线证明，经过重度筛选、像教科书一样的材料，比原始网络抓取能让小模型从每个 token 中学到更多；如今，其中许多材料是由大模型写出的合成数据。第二是蒸馏，大教师模型的输出——有时甚至是完整概率分布——成为训练目标，让学生吸收单靠文本永远学不到的行为。第三是前沿模型使用的同一套后训练栈——指令调校与偏好优化——在小规模上成本相对低，却会大幅改善模型的可用感。三者合起来，意味着今天一款训练优秀的 3B 模型，可以击败几年前大出许多倍的通用模型。
效率软件栈
原始参数量只讲了一半故事，另一半是让小模型运行便宜的工具。量化把权重从 16 bit 浮点压缩到 8 bit、甚至 4 bit 精度，而质量只小幅下降；一款 7–8B 模型于是从约 16 GB 内存缩到约 4–5 GB，3B 模型则只需约 2 GB。GGUF 等格式，加上 llama.cpp、Ollama 等运行时，把这一切变成普通 CPU 上的一条命令体验，连 GPU 都不需要。同一套软件栈还能跑在手机和单板计算机上，让端侧助手——包括 Apple Intelligence 等功能背后的小型本地模型——从理论变成实际。
SLM 在哪里最值钱
SLM 最强的生产案例是范围窄、流量大的工作。分类、实体抽取、路由、审核、短摘要和结构化解析等任务中，一款微调过的 1–8B 模型，经常可以追平靠提示词驱动的前沿模型；每次请求成本却可能低几个数量级，响应也利落得多。一种常见架构是级联：小模型处理 80–90% 的简单流量，只有困难或模糊的查询才升级给大模型，昂贵模型最终只承担零头负载。
第二个案例是位置：让模型在数据所在的地方运行。端侧推理意味着用户数据从不离开手机或企业网络，隐私审查与合规因此简单得多，功能也能在完全断网时继续工作。这正是边缘AI的核心赌注：智能嵌进设备，不从数据中心租来。微调过的 SLM 也是团队彻底拥有的资产——权重就在磁盘上，没有悄悄发生的版本变化，也没有一张随成功规模增长的逐 token 账单。
小不等于笨
一个常见误解会朝两个方向同时出现：模型大小决定有没有用。一边是，现代 SLM 在标准基准上已经击败不过几年前的旗舰模型，再把它们当玩具，纯粹是信息过时。另一边则是，限制确实存在：3B 模型掌握的世界知识远少于 400B 模型，多步推理和细腻的指令遵循也更弱，一旦被推到真实知识边界之外，很容易产生幻觉。实用规则看的是匹配，不是大小：任务范围窄，又能微调或约束输出，SLM 通常就是正确工具；任务开放且知识密集，它就不是。