Andrej Karpathy 本週開始在 Anthropic 上班,匯報給 pre-training 負責人 Nick Joseph,帶一支新團隊專門做「用 Claude 加速 pre-training 研究」。Karpathy 的履歷:OpenAI 共同創辦人、Tesla 前 AI 總監、Nano-GPT 和 llm.c 的作者,小模型研究圈這些年一直在引用他的「從零搭一個」LLM 教育路徑。他 2024 年創辦的 Eureka Labs 暫停,他自己說會「適當時候」回到教育。他本人的原話:「未來幾年在 LLM 這條前沿上會特別 formative。我非常 excited 回來做 R&D。」這是 2021 年 Dario 和 Daniela Amodei 離開 OpenAI 創辦 Anthropic 之後,從 OpenAI 跳到 Anthropic 最有分量的一次人才遷移。
這件事在兩個層面有訊號。第一,Anthropic 的 pre-training 組現在有一支專門做 AI-輔助研究的團隊,帶這支隊伍的人是當下最被尊重的「scaling 效率」名字之一。Karpathy 的專長 —— nano-GPT 那一脈、llm.c、在前沿做小模型效率 —— 在大 lab 文化裡其實是個異類:那裡的主流 culture 是 more compute、more data、more parameters。Anthropic 在押:一個真正吃透了小模型 regime 的人,能找到那些在大規模上複利的效率收益。第二,「用 Claude 加速 pre-training 研究」是「AI agent 幫自己寫下一代自己」這條論點的工程化形態。這支隊伍的 mandate 就是:用當下的 Claude,把下一代 Claude 找出來得更快。如果真的成立,那是研究速度上的實打實加速 —— 這跟 OpenAI 在 Altman 治下走 compute-and-scale 的 Stargate 路線,跟 Google 搞 Vera Rubin NVL72 參考系統加上跟 Blackstone 的 TPU JV,是根本上不同的押注。
生態效應:Anthropic 認定的護城河是「每一美元計算帶來的研究速度」,不是裸的算力規模。這跟他們在 Code With Claude 上端出來的 Capability Curve(SWE-bench Verified 十二個月裡從 62% 漲到 87%)是一脈相承的,也跟他們在 MCP 和 Managed Agents 上把工程力氣放在基礎原語而不是放在「再做大一個模型」是一致的。OpenAI 在 Altman 下面 scale Stargate;Google 在搭 Vera Rubin NVL72 參考系統、跟 Blackstone 做 TPU JV;Anthropic 雇一個小模型效率專家來帶 AI-輔助 pre-training 研究 —— 三家對未來兩年「什麼會贏」的判斷是不一樣的。對 wrapper 生態的 builder 來說,這又一次強化了 Capability Curve 已經在說的事:Anthropic 的研究投入是花在讓模型本身更好更快,不是花在圍著模型搭腳手架。
週一上手:盯 Anthropic 的 pre-training 輸出在 Q3、Q4 是否出現研究 throughput 的加速 —— 模型發版節奏、paper 產出速度、單位算力的 eval 改善。如果下一代 Opus 或者一次 Sonnet 刷新比通常的 12-15 個月更早 ship 出來,而且又是一次 SWE-bench 級別的跳躍,那 AI-assisted-research 這條論點就有了實證支撐。對 builder 來說更具體:模型自我改善的閉環正在內化 —— 押的是「模型讓自己更好的速度在變快」。這對下游的 prompt-engineering 規劃是有影響的:在模型上一代能力上做出來的 prompt pattern,如果研究速度加快,會更快地過期。規劃上把 prompt-pattern 的生命週期算短一點;讓你自己的 stack 薄到足以坐上這條曲線,而不是被鎖在某個固定的模型行為上。Karpathy 加入這件事本身也是招聘訊號:如果你是搞小模型效率的研究者,在觀察「真正的 R&D 行動在哪」,這一下答案清晰了。