周二,超过100辆百度Apollo Go自动驾驶出租车在武汉交通中同时冻结,将乘客困在拒绝移动的车辆内,并在随后的混乱中造成至少一起事故。警方证实了多起关于自动驾驶车辆在全市街道和高速公路上突然停止的报告,将大规模故障归因于未明确说明的"系统故障"。虽未报告人员伤亡,但该事件影响了百度在武汉500辆车队的重要部分。
这不仅仅是又一个自动驾驶车辆故障——它严峻地提醒我们,运营物理基础设施的集中式AI系统存在固有的单点故障。当你的推荐算法崩溃时,你得到糟糕的建议。当你的自动驾驶出租车队崩溃时,你得到真正的交通事故和被困在金属盒子里的人们。百度在全球26个城市运营,并在伦敦和迪拜与Uber合作,这意味着这种同时故障可能在他们系统覆盖的任何地方发生。
特别令人担忧的是,百度分享的根本原因信息如此之少。"系统故障"没有告诉我们这是否是云连接问题、同时推送到整个车队的软件bug,或者是自动驾驶技术栈中更根本的问题。围绕这样一个公共安全事件的不透明性引发了关于监管机构在批准全市部署之前对这些系统实际拥有多少可见性的问题。
对于任何构建控制物理基础设施的AI系统的人:这是关于优雅降级和故障保护的警钟。如果你的系统无法在不困住人类的情况下处理与服务器连接的丢失,你就还没有准备好投入生产。自动驾驶出租车的未来可能不可避免,但像这样的事件表明我们仍在将beta软件当作已准备好大规模部署来对待。
