Plusieurs équipes de recherche ont documenté ce que l'industrie soupçonnait discrètement : l'ère de l'expansion des grands modèles de langage pour atteindre l'intelligence artificielle générale a frappé un mur. La recherche sur l'expansion inverse d'Anthropic montre que les modèles plus grands deviennent moins fiables sur les tâches complexes, hallucinant avec une confiance dangereuse. Le benchmark GSM-Symbolic d'Apple a révélé que changer des variables triviales dans les problèmes de maths—comme remplacer « David » par « Clara »—cause une chute de précision de 65%, prouvant que les modèles s'appuient sur une reconnaissance de motifs fragile plutôt qu'un raisonnement authentique. Pendant ce temps, Nature a publié des preuves d'« effondrement de modèle » alors que le contenu généré par IA pollue les données d'entraînement.

Cette convergence de découvertes marque un changement fondamental dans la stratégie de développement de l'IA. L'industrie a tout misé sur l'hypothèse que des modèles plus gros finiraient par tout résoudre—une stratégie qu'Ilya Sutskever, co-fondateur d'OpenAI, admet maintenant être « terminée ». L'économie raconte l'histoire : une étude PNAS a trouvé que les modèles de pointe souvent 10x plus chers que leurs prédécesseurs ne montrent statistiquement aucune amélioration dans l'utilité du monde réel. On paie des coûts exponentiels pour des gains marginaux que les utilisateurs ne peuvent même pas percevoir.

Ce qui est particulièrement accablant, c'est comment ces limitations se cumulent. À mesure que les modèles grossissent, ils deviennent simultanément moins fiables et plus chers à entraîner sur des données de plus en plus polluées. Les « victoires faciles » des paradigmes de pré-entraînement sont épuisées, forçant les compagnies vers des architectures entièrement nouvelles comme le raisonnement au moment de l'inférence—admettant essentiellement que l'approche actuelle a atteint son plafond.

Pour les développeurs, ça veut dire que les prochaines percées ne viendront pas d'attendre GPT-5 ou Claude-4. Concentrez-vous sur construire avec les capacités actuelles plutôt que de parier sur des améliorations magiques futures. L'âge du « juste attendre le prochain modèle » est fini.