Andrej Karpathy 本周开始在 Anthropic 上班,汇报给 pre-training 负责人 Nick Joseph,带一支新团队专门做「用 Claude 加速 pre-training 研究」。Karpathy 的履历:OpenAI 联合创始人、特斯拉前 AI 总监、Nano-GPT 和 llm.c 的作者,小模型研究圈这些年一直在引用他的「从零搭一个」LLM 教育路径。他 2024 年创办的 Eureka Labs 暂停,他自己说会「适当时候」回到教育。他本人的原话:「未来几年在 LLM 这条前沿上会特别 formative。我非常 excited 回来做 R&D。」这是 2021 年 Dario 和 Daniela Amodei 离开 OpenAI 创办 Anthropic 之后,从 OpenAI 跳到 Anthropic 最有分量的一次人才迁移。
这件事在两个层面有信号。第一,Anthropic 的 pre-training 组现在有一支专门做 AI-辅助研究的团队,带这支队伍的人是当下最被尊重的「scaling 效率」名字之一。Karpathy 的专长 —— nano-GPT 那一脉、llm.c、在前沿做小模型效率 —— 在大 lab 文化里其实是个异类:那里的主流 culture 是 more compute、more data、more parameters。Anthropic 在押:一个真正吃透了小模型 regime 的人,能找到那些在大规模上复利的效率收益。第二,「用 Claude 加速 pre-training 研究」是「AI agent 帮自己写下一代自己」这条论点的工程化形态。这支队伍的 mandate 就是:用当下的 Claude,把下一代 Claude 找出来得更快。如果真的成立,那是研究速度上的实打实加速 —— 这跟 OpenAI 在 Altman 治下走 compute-and-scale 的 Stargate 路线,跟 Google 搞 Vera Rubin NVL72 参考系统加上跟 Blackstone 的 TPU JV,是根本上不同的押注。
生态效应:Anthropic 认定的护城河是「每一美元计算带来的研究速度」,不是裸的算力规模。这跟他们在 Code With Claude 上端出来的 Capability Curve(SWE-bench Verified 十二个月里从 62% 涨到 87%)是一脉相承的,也跟他们在 MCP 和 Managed Agents 上把工程力气放在基础原语而不是放在「再做大一个模型」是一致的。OpenAI 在 Altman 下面 scale Stargate;Google 在搭 Vera Rubin NVL72 参考系统、跟 Blackstone 做 TPU JV;Anthropic 雇一个小模型效率专家来带 AI-辅助 pre-training 研究 —— 三家对未来两年「什么会赢」的判断是不一样的。对 wrapper 生态的 builder 来说,这又一次强化了 Capability Curve 已经在说的事:Anthropic 的研究投入是花在让模型本身更好更快,不是花在围着模型搭脚手架。
周一上手:盯 Anthropic 的 pre-training 输出在 Q3、Q4 是否出现研究 throughput 的加速 —— 模型发版节奏、paper 产出速度、单位算力的 eval 改善。如果下一代 Opus 或者一次 Sonnet 刷新比通常的 12-15 个月更早 ship 出来,而且又是一次 SWE-bench 级别的跳跃,那 AI-assisted-research 这条论点就有了实证支撑。对 builder 来说更具体:模型自我改善的闭环正在内化 —— 押的是「模型让自己更好的速度在变快」。这对下游的 prompt-engineering 规划是有影响的:在模型上一代能力上做出来的 prompt pattern,如果研究速度加快,会更快地过期。规划上把 prompt-pattern 的生命周期算短一点;让你自己的 stack 薄到足以坐上这条曲线,而不是被锁在某个固定的模型行为上。Karpathy 加入这件事本身也是招聘信号:如果你是搞小模型效率的研究者,在观察「真正的 R&D 行动在哪」,这一下答案清晰了。