“开放权重”这一术语的存在，是因为人工智能行业对“开源”一词的使用实际上具有误导性。传统意义上的开源（按照OSI的定义）意味着你可以获取源代码，对其进行修改，并重新分发。当Meta发布Llama时，你获得的是训练好的模型权重——定义模型行为的数十亿个数值参数——但不包括训练数据、完整的训练代码，通常也不包括数据预处理流程。你可以运行推理并进行微调，但无法从零开始复现该模型。Open Source Initiative（开放源代码倡议组织）于2024年底发布了一份“开放源代码AI”的正式定义，试图澄清这一问题，但行业仍对这些术语使用较为宽松。了解这一区别对于评估你实际上能对模型做些什么至关重要。
不同发布版本的开放程度差异极大。在光谱的一端，Meta的Llama模型附带了一个定制许可证，禁止拥有超过7亿月活跃用户的公司使用（显然针对竞争对手），并要求署名。Mistral的模型通常使用Apache 2.0许可证，这是目前最宽松的许可协议之一。阿里巴巴的Qwen系列也使用Apache 2.0许可证。DeepSeek则在其模型权重下发布了MIT许可证。与此同时，BLOOM（BigScience）和OLMo（AI2）等项目更进一步，还发布了训练数据和完整的训练代码——这些更接近真正的开源。对于开发者而言，许可证决定了你是否可以商业使用该模型，是否需要共享修改内容，以及是否可以在其基础上构建专有产品。
得益于量化和优化的推理引擎，自行运行开放权重模型的可行性已大幅提升。一个需要140GB显存（全精度）的700亿参数模型，可以在4位量化下以可接受的质量损失运行于单块24GB的消费级GPU上。像llama.cpp、vLLM和Ollama这样的工具，使本地推理几乎变得轻而易举——你可以在几分钟内让一款功能强大的模型在游戏笔记本电脑上运行。实际瓶颈已从“我能否运行它？”转变为“其质量是否足以满足我的使用场景？”量化后的较小模型在许多任务中表现惊人，但与通过API提供的全精度前沿模型相比，它们在复杂推理和长上下文任务上的性能确实有所下降。
开放权重的安全影响是AI政策领域最活跃的讨论话题之一。担忧是显而易见的：一旦权重被发布，任何人都可以微调掉安全训练。研究人员已经证明，仅需几百个示例和少量计算资源，就可以从开放权重模型中移除基于RLHF的安全防护机制。这意味着开放权重模型可以被转换为无审查版本，从而满足任何请求。反方观点——这是一个强有力的论点——认为这些模型所包含的知识已经在互联网上公开，开放研究和分布式创新的益处远大于风险，并且试图限制模型分发只会将权力集中于少数大公司，而不会真正改善安全性。双方都有合理之处，这场辩论远未结束。
对于在开放权重模型和基于API的模型之间做出选择的实践者而言，决策归结为四个因素：隐私（开放权重模型将你的数据保留在本地）、成本（自托管在高负载时更便宜，但低负载时更昂贵）、控制（你可以自由微调和定制）以及能力（仅通过API提供的前沿模型如GPT-4o和Claude在许多基准测试中仍优于最佳开放权重模型，尽管每次主要发布后差距都在缩小）。许多生产系统会同时使用两者——将简单查询路由到本地开放权重模型以提高速度和降低成本，而将复杂任务发送到前沿API。这种混合方法结合了两者的优势，对于需要兼顾性能和隐私的团队来说，正变得越来越务实。