跳到主要内容
Zubnet AI学习Wiki › Embodied AI
基础

Embodied AI

别名:Embodied Intelligence、Robotics Foundation Models、具身智能
一种人工智能路线,让模型控制物理机器——能够在现实世界感知、移动并操纵物体的机器人,而不只是在屏幕上处理文字和图像。核心主张是,真正的智能需要身体:感知、推理和运动控制必须通过与环境互动一起学习。这个词覆盖从仓库机械臂、四足机器人,到通用人形机器人的一切。

为什么重要

具身智能是语言和视觉模型近期进展与实体经济相遇的地方:制造、物流、建筑、农业和护理工作,全都依赖体力劳动。一款能装洗碗机或给货架补货的模型,远比只会描述步骤的模型值钱;行业中很大一部分也把机器人视为大型语言模型之后的下一个前沿。对实践者而言,AI 最困难的未解问题——数据稀缺、安全、实时控制——也正在迁移到这里。

深度解析

具身智能系统运行一个连续循环:传感器——摄像头、深度传感器、关节编码器,有时还有触觉——向感知软件栈送入数据,策略模型把观察转成动作命令,电机在物理世界执行命令,再产生新的观察。老式机器人用人工设计的流水线运行这套循环,建图、规划和控制各自有独立模块。当前浪潮会尽可能把整条流水线换成一个大型神经网络,直接借用大型语言模型的打法:以 Transformer 为主干,接收摄像头画面与自然语言指令,再输出电机命令。底层赌注是,造出流畅文本模型的配方——海量数据、海量模型、自监督预训练——也能造出通用物理技能,因为多模态模型如今已经能看图并对图像推理。

视觉语言动作模型

这一浪潮的招牌架构是视觉语言动作模型,也就是 VLA。VLA 从已经理解图像和文本的预训练视觉语言模型起步,再加入动作输出:电机命令被离散化成 token,模型预测它们的方式与聊天机器人预测词语相同。Google DeepMind 2023 年发表的 RT-2 证明这很重要——机器人被要求拿起“一种已经灭绝的动物”时,选择了一只恐龙玩具;它用到的是网络规模图文预训练中的知识,而这项知识从未出现在机器人训练数据里。Physical Intelligence 的 π0(pi-zero)又把这个想法延伸成跨多个机器人平台训练的通用策略,Figure 等公司的机器人实验室如今也在内部搭建自己的 VLA 软件栈。吸引力来自复用:模型从互联网继承关于物体、语言和场景的常识,只有运动层需要从零学习。

数据难题

数据是这个领域的硬约束。语言模型可以在从公共互联网抓取的数万亿 token 上训练,机器人动作却没有一张互联网:不存在一套现成语料,把摄像机画面与完成任务所需的精确电机命令配成对。最直接的路线是遥操作,由人类操作员远程控制机器人,或穿戴动作捕捉设备,演示叠衬衫、装洗碗机等任务。这样能产出高质量数据,速度却很慢——一套运营良好的设施每天也许能收集数千次演示,而通用策略可能需要数百万次。跨本体会让问题更糟:一条机械臂采集的数据很难迁移到几何结构不同的另一条手臂,因此每一种硬件平台都要重新面对收集问题。

另一条路线是模拟。策略通过强化学习,在 NVIDIA Isaac Sim 等物理模拟器中训练;数百万次试验只花 GPU 时间,再迁移到真实硬件——这就是 sim-to-real 流水线。模拟物理永远无法与现实完全一致,所以工程师会在训练中随机改变光照、纹理、摩擦力和物体质量;这种技巧叫领域随机化,迫使策略忽略差异。模拟生成的合成数据如今为大多数严肃项目补充真实演示,而学出来的世界模型承诺提供第三种来源:不在人工搭建的模拟器里,而是在神经网络的预测中训练策略。三条路线都还没有为物理技能产出经过验证的缩放定律;在那之前,谁有能力竞争,取决于数据收集的经济账。

难点不在思考

一个常见误解是,机器人落后于聊天机器人,只因为背后的模型更弱;换上更大的 LLM,差距就会消失。现实更接近 Moravec 悖论:成年人不费力完成的技能——穿过杂乱房间、接住掉落的玻璃杯、叠衣服——在计算上残酷得惊人,反而是下国际象棋或通过律师资格考试比较容易。语言模型看似超人,部分原因是文本是一条干净、完整的通道:模型理解一个句子所需的一切,都已经在句子里面。物理世界没有这种奢侈。接触力难模拟、更难感知,物体会变形、会滑落,而错误也不能按退格键撤销。把抽象符号连接到物理指代物——老牌的事实接地问题——正是身体逼模型必须解决的事,也解释了为什么一个会写十四行诗的系统,仍可能连灯泡都拧不上。

为什么是人形,又为什么是现在

当前浪潮的旗舰机器——Figure 的人形机器人、Tesla Optimus、Unitree H1 和 G1——都在追逐同一个论点:人造世界按人体设计,所以人形机器人天然继承了楼梯、门把手、工具和工作台。怀疑者反驳说,轮子比双腿高效,而机器人行业迄今最大的商业成功,例如 Amazon 仓库搬运机器人,看起来一点也不像人。让人形赌注变得可信的变化来自软件,不是硬件。执行器和摄像头成本已经下降多年,但直到基础模型崛起,人们才有理由相信同一套策略可以处理真实世界变化的长尾,而不必每个任务都配一名专业工程师。双腿能不能胜过轮子,远不如这种泛化能力究竟能不能成立重要。

真实部署是什么样

今天的真实部署范围很窄,也受到重度监督。人形机器人试点会在汽车工厂和仓库里执行搬运周转箱、分拣零件等有边界的任务;策略一旦迷糊,通常随时有远程人类操作员接管。安全规则仍会把机器人与人隔开,一方面因为策略的失败不可预测,另一方面因为认证制度落后于技术。计算也是约束:策略必须在机载硬件上以控制循环频率运行,因此团队会采用小型蒸馏模型和边缘AI推理,而不是数据中心规模的大脑。诚实的总结是,2020 年代中期的具身智能,大致站在语言模型爆发前的位置——演示很惊艳,经济账尚未证明,而真正的论据不是今天的能力,是进步的速度。

← 所有术语
ESC