Mais de 100 robotáxis Apollo Go da Baidu congelaram simultaneamente no trânsito de Wuhan na terça-feira, prendendo passageiros dentro de veículos que se recusaram a se mover e causando pelo menos um acidente no caos resultante. A polícia confirmou múltiplos relatos de veículos autônomos parando completamente em ruas e rodovias por toda a cidade, atribuindo a falha em massa a uma "falha do sistema" não especificada. Nenhum ferimento foi relatado, mas o incidente afetou uma porção significativa da frota de 500 veículos da Baidu em Wuhan.
Isso não é apenas mais uma falha de veículo autônomo — é um lembrete brutal dos pontos únicos de falha inerentes em sistemas AI centralizados operando infraestrutura física. Quando seu algoritmo de recomendação trava, você recebe sugestões ruins. Quando sua frota de robotáxis trava, você tem acidentes de trânsito reais e pessoas presas em caixas de metal. A Baidu opera em 26 cidades globalmente e faz parceria com Uber em Londres e Dubai, significando que este tipo de falha simultânea poderia acontecer em qualquer lugar que seus sistemas alcancem.
O que é particularmente preocupante é quão pouca informação a Baidu compartilhou sobre a causa raiz. "Falha do sistema" não nos diz nada sobre se isso foi um problema de conectividade na nuvem, um bug de software enviado para toda a frota simultaneamente, ou algo mais fundamental em seu stack de direção autônoma. A opacidade em torno de tal incidente de segurança pública levanta questões sobre quanta visibilidade os reguladores realmente têm desses sistemas antes de aprovar implementações em toda a cidade.
Para qualquer um construindo sistemas AI que controlam infraestrutura física: este é seu alerta sobre degradação elegante e sistemas de segurança. Se seu sistema não consegue lidar com a perda de conectividade com seus servidores sem prender humanos, você não está pronto para produção. O futuro dos robotáxis pode ser inevitável, mas incidentes como este mostram que ainda estamos tratando software beta como se estivesse pronto para implementação em massa.