NVIDIA a livré Cosmos 3 aujourd'hui : un modèle de fondation open pour l'IA physique qui produit directement des angles d'articulation et des positions de pinces, ce qui veut dire que l'entraînement de politiques ne passe plus par une tête séparée pour traduire la prédiction vidéo en action. L'architecture est un Mixture-of-Transformers (MoT) à deux tours, un raisonneur vision-langage qui interprète le mouvement, les interactions entre objets et le contexte physique, et un générateur qui produit observations futures et séquences d'actions par diffusion. Deux tailles sortent aujourd'hui : Cosmos 3 Nano (16B paramètres, station de travail classe RTX PRO 6000) et Cosmos 3 Super (64B, centre de données Hopper/Blackwell). Une variante Edge est à venir. Les poids sont sur HuggingFace sous OpenMDW 1.1, la licence permissive de la Linux Foundation, entraîner, modifier, redistribuer.

Le détail du MoT qui vaut la peine d'arrêter : l'information circule unidirectionnellement du raisonneur vers le générateur. Le raisonneur est un VLM autorégressif qui peut être appelé seul ; le générateur active les deux tours. Ce n'est pas une architecture monolithique entièrement jointe, c'est raisonneur-puis-générateur avec le raisonneur qui tient debout tout seul. La tête d'action est native : les données numériques d'action (angles d'articulation, positions de pinces) coexistent avec les sorties texte, image, vidéo et son ambiant. NVIDIA rapporte Cosmos 3 en tête de VANTAGE-Bench (paliers 32B et 8B), PAI-Bench, R-Bench, Physics-IQ et RoboLab parmi les poids ouverts. Aucune comparaison numérique avec GR00T N1 ou Gemini Robotics ne paraît dans les matériaux de lancement, et le récit de contamination de chaque leaderboard n'est pas divulgué. Options de quantification (BF16, FP8, NVFP4) et six jeux de données synthétiques pour post-entraînement sortent en parallèle. Le rapport technique est à research.nvidia.com/labs/cosmos-lab/cosmos3.

La Cosmos Coalition est le signal d'écosystème : Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI s'alignent comme co-constructeurs. Ce chapiteau s'étire du matériel humanoïde (Agile, Skild) à la génération de média (BFL, Runway, LTX) en passant par une couche modèle de fondation (Generalist). Le pari NVIDIA c'est que le même substrat MoT sert les deux mondes, données synthétiques pour politiques robotiques et génération vidéo haute fidélité pour le média. Pour les builders sceptiques des superpositions de modèles de fondation par-dessus la perception robotique, ceux qui construisent à partir de primitives comme le predictive coding, SLAM, les stacks vision ROS2, le MoT unidirectionnel est en fait plus proche de votre camp que ce que le marketing suggère. Séparer « interpréter la scène » de « générer le prochain état » est la bonne décomposition ; le raisonneur étant appelable seul, vous pouvez l'utiliser comme tête de perception et apporter votre propre contrôleur. OpenMDW 1.1 rend ça légalement propre.

Lundi matin, si t'entraînes des politiques robotiques : Cosmos 3 Super est maintenant ta meilleure ligne de base open pour la génération de données synthétiques, devant les modèles de pure prédiction vidéo parce que la tête d'action est native. Si tu déploies l'inférence en edge ou sur station, Cosmos 3 Nano (16B) est la cible pratique, attend ou guette le Edge. Si tu construis à partir de primitives et ne veux pas d'overlay de modèle de fondation, le raisonneur s'appelle seul sous licence permissive, traite-le comme ligne de base de perception, pas une boîte noire. Et avant de parier ton infra sur les claims de leaderboard, fais rouler ton propre harness sur une charge qui ressemble à la tienne : les benchmarks que NVIDIA domine ici sont aussi les benchmarks que NVIDIA a aidé à définir.