人工智能安全公司正在构建Claude。由前OpenAI研究员Dario和Daniela Amodei创立,Anthropic专注于开发可靠、可解释且可操控的人工智能系统。
Anthropic 证明了一家人工智能公司可以以安全研究为先,同时在前沿领域竞争。他们的 Constitutional AI 方法影响了整个行业对对齐问题的思考方式,其 Responsible Scaling Policy 设定了一种模板,其他实验室以各种形式加以采用,而 Claude 已成为需要可靠性和谨慎处理敏感内容的企业首选模型。最重要的是,Anthropic 作为一家资金充足的竞争对手存在,确保通往AGI的竞争不是一家独大的局面——并且至少有一家主要参与者将安全融入其初创基因,而非事后添加的补丁。
Anthropic的成立源于OpenAI内部的一次分裂。2020年末至2021年初,一群资深研究人员——由研究副总裁Dario Amodei和运营副总裁Daniela Amodei姐妹领导——越来越担忧他们所看到的OpenAI向商业化倾斜而牺牲安全的趋势。他们离开并创立了Anthropic,于2021年1月成立,同时带走了包括GPT-3论文的主要作者Tom Brown、神经网络可解释性先驱Chris Olah、Sam McCandlish和Jared Kaplan在内的多位关键人物。Kaplan和McCandlish曾共同撰写具有影响力的论文《神经语言模型的扩展定律》,该研究显示模型性能随着规模扩大而可预测地提升——这一研究后来成为整个领域的基础。
Anthropic的核心技术贡献是宪法AI(Constitutional AI,简称CAI),该技术于2022年12月发布。与依赖纯人类反馈对齐模型的标准RLHF方法不同,CAI让模型根据一套书面原则——“宪法”——自行批判和修订输出。这既是一种哲学声明,也是一种实用的工程选择:人类反馈成本高、不一致且无法扩展。通过将价值观编码到模型自身可应用的文档中,Anthropic认为可以以更少的人工劳动实现更一致的对齐。这种方法的有效性足以使他们的旗舰模型Claude在安全性方面获得显著声誉,其生成有害内容的可能性比竞争对手低得多——有时甚至令人沮丧,Anthropic在后续版本中对此进行了校准。
Claude于2023年3月作为API产品推出,并迅速成为重视可靠性和安全性的企业客户的首选模型。该模型系列发展迅速:Claude 2(2023年7月)引入了100K上下文窗口,Claude 3(2024年3月)推出了三级产品阵容(Haiku、Sonnet、Opus),使客户能够在成本与能力之间进行权衡,而Claude 3.5和4代产品则使Anthropic真正进入与OpenAI和Google的前沿竞争。Claude的200K上下文窗口成为行业基准。2024年和2025年,Anthropic还推出了计算机使用功能(使Claude能够操作桌面)、模型上下文协议(MCP)作为工具集成的开放标准,以及Claude Code用于软件工程——这些举措表明Anthropic正从纯研究实验室向平台公司转型。消费者产品claude.ai稳步增长,但Anthropic的主要收入来源仍是API和企业协议,特别是通过与亚马逊网络服务(AWS)的合作。
Anthropic将其结构设为公共利益公司(Public Benefit Corporation)——一种允许董事会在利润与既定使命之间取得平衡的法律形式。公司还创建了长期利益信托(Long-Term Benefit Trust),旨在长期持有治理权力,尽管这种结构的实际影响仍有待检验。公司的融资规模惊人:2023年初从谷歌获得7.5亿美元,随后与亚马逊达成多阶段协议,承诺投资总额高达80亿美元(首批40亿美元于2023-2024年到账,后续还有更多资金)。到2025年初,Anthropic在二级市场的估值已超过600亿美元。与亚马逊的关系尤为重要——Claude是亚马逊Bedrock的旗舰模型,使Anthropic能够覆盖AWS庞大的企业客户群,而亚马逊则获得了一个对抗微软与OpenAI合作的有力竞争者。
Anthropic的标志性矛盾是,在一场以谨慎为代价可能被视为落后的竞赛中,作为一个以安全为核心的企业。他们发布了负责任扩展政策(Responsible Scaling Policy,简称RSP),该政策设定了具体的性能阈值——称为AI安全等级——当模型变得更强大时,这些阈值会触发额外的安全和监督措施。来自有效利他主义社区的批评者认为,Anthropic仍在构建可能具有危险性的能力,尽管他们公开表示谨慎。来自商业界的批评者则认为,Claude的安全限制使其相比竞争对手实用性较低。在这些阵营之间寻找平衡——同时筹集数十亿美元并直接与OpenAI、Google以及日益壮大的Meta竞争——是定义该公司的持续挑战。Anthropic能否证明安全与商业成功真正兼容,而不仅仅是声称如此,可能是人工智能领域最具决定性的问题之一。