Falcon
为什么重要
深度解析
Falcon 是由技术创新研究院开发的一系列仅解码器大型语言模型，这是一家位于阿布扎比、由阿联酋政府支持的研究机构。首批发布于 2023 年落地：基于该机构自建 RefinedWeb 数据集训练的 7B 和 40B 模型，同年晚些时候又推出 Falcon 180B——一个 1800 亿参数、在约 3.5 万亿 token 上训练的模型，发布时位居 Hugging Face 开放 LLM 排行榜榜首。关键的是，TII 以宽松条款发布了权重——40B 在发布后不久即转为 Apache 2.0——这使 Falcon 在 2023 年的大部分时间里成为最强的真正开放权重选择。后续几代接连而来：2024 年的 Falcon 2，同年晚些时候推出的 1B 到 10B 各种尺寸的 Falcon 3，以及 Falcon-Mamba、混合型 Falcon-H1 等超越标准 Transformer 配方的实验性分支。
RefinedWeb 的赌注
那个时代的模型大多在精心策划的书籍、代码、学术论文和过滤网页文本的混合语料上训练。TII 在 Falcon 上的赌注不同：直接采用原始的 Common Crawl 网页数据，大规模进行激进的去重和质量过滤，证明只要清洗得当，海量网页文本足以媲美精心策划的语料。成果就是 RefinedWeb——一个数万亿 token 的数据集，TII 将其与模型一同公开发布。Falcon 40B 使用了其中约一万亿 token 训练，180B 模型则扩展到约 3.5 万亿 token，并混入部分精选语料。在那个规模上几乎完全基于公开网页数据进行预训练是罕见的，而在这些模型本身被超越之后很久，RefinedWeb 依然是被其他开放模型项目广泛复用的资产。
作为竞争武器的许可证
时机让 Falcon 的许可证与其权重同等重要。当 Falcon 40B 于 2023 年年中问世时，Meta 的第一代 Llama 仅限研究用途，其他多数强模型都藏在 API 之后，因此一份 Apache 2.0 发布——在推出后不久采用，取代了附带版税条款的自定义许可证——使 Falcon 成为构建商业产品团队的默认选择。这种宽松推动了更广泛的开放与封闭之争：数月内，Llama 2 带着允许商用的社区许可证到来，宽松许可从此成为一种预期而非差异化优势。Falcon 3 及后续版本转而采用 TII Falcon 许可证，虽保持 Apache 风格但加入了自有条款——这提醒人们，“开放权重”涵盖一系列不同的条款，每一份许可证都值得真正读一遍。
排行榜买不来心智份额
对 Falcon 历史的一种常见解读是，它因登顶 Hugging Face 排行榜而赢得了 2023 年的开放模型竞赛。事实并非如此。基准排名很难转化为生态：Mistral 和 Llama 俘获了微调者、工具作者和教程写作者的社区，他们的模型积累了推动真实采用的量化构建、融合配方和部署指南。Falcon 180B 尤其更像一件声望的象征而非实用的产品——量化前需要数百 GB 显存，几乎没人跑得起，其微调成本也让大多数团队望而却步。这个教训具有普遍性：在开放模型领域，分发、硬件适配和工具链会复利增长，而排行榜积分会迅速贬值。
超越稠密 Transformer
Falcon 的后续发布表明，TII 正把这个系列当作一项架构研究计划而非单一产品线来经营。Falcon 2 于 2024 年到来，是一个 11B 模型，并有一个能处理图像的视觉-语言姊妹版本；同年晚些时候 Falcon 3 跟进，以 1B、3B、7B、10B 的尺寸和多语言训练瞄准实用型市场。更有趣的动作在侧枝：Falcon-Mamba 7B 将注意力机制整体替换为 Mamba 状态空间架构，在长序列上实现恒定内存推理；Falcon-H1 系列于 2025 年跟进，采用在单一模型内混合注意力层与状态空间层的混合设计。即便主流 Falcon 产品线在与庞大得多的开放权重生态竞争，这些实验也让 TII 在架构讨论中保持着存在感。