Plus de 100 robotaxis Apollo Go de Baidu se sont figés simultanément dans le trafic de Wuhan mardi, piégeant les passagers à l'intérieur de véhicules qui refusaient de bouger et causant au moins un accident dans le chaos qui a suivi. La police a confirmé plusieurs rapports de véhicules autonomes s'arrêtant net dans les rues et autoroutes de la ville, attribuant cette panne massive à une « défaillance système » non spécifiée. Aucune blessure n'a été rapportée, mais l'incident a affecté une portion significative de la flotte de 500 véhicules de Baidu à Wuhan.
C'est pas juste un autre bogue de véhicule autonome — c'est un rappel brutal des points de défaillance unique inhérents aux systèmes AI centralisés qui opèrent l'infrastructure physique. Quand votre algorithme de recommandation plante, vous obtenez de mauvaises suggestions. Quand votre flotte de robotaxis plante, vous obtenez de vrais accidents de circulation et des gens pris au piège dans des boîtes de métal. Baidu opère dans 26 villes mondialement et s'associe avec Uber à Londres et Dubaï, ce qui signifie que ce type de panne simultanée pourrait arriver n'importe où leurs systèmes s'étendent.
Ce qui est particulièrement préoccupant, c'est le peu d'information que Baidu a partagé sur la cause racine. « Défaillance système » nous dit rien sur si c'était un problème de connectivité cloud, un bogue logiciel poussé à toute la flotte simultanément, ou quelque chose de plus fondamental dans leur pile de conduite autonome. L'opacité autour d'un tel incident de sécurité publique soulève des questions sur la visibilité que les régulateurs ont réellement sur ces systèmes avant d'approuver les déploiements à l'échelle de la ville.
Pour quiconque construit des systèmes AI qui contrôlent l'infrastructure physique : c'est votre signal d'alarme concernant la dégradation gracieuse et les dispositifs de sécurité. Si votre système peut pas gérer la perte de connectivité à vos serveurs sans piéger des humains, vous êtes pas prêt pour la production. L'avenir des robotaxis est peut-être inévitable, mais des incidents comme celui-ci montrent qu'on traite encore les logiciels bêta comme s'ils étaient prêts pour le déploiement de masse.