Des chercheurs de Northwestern, Tilde Research et University of Washington ont publié Parallax (arxiv 2605.29157, code à github.com/Yifei-Zuo/Parallax), un mécanisme d'attention qui fait l'opposé architectural de ce que la plupart des travaux d'attention linéaire font. Au lieu de remplacer softmax pour obtenir une complexité sous-quadratique, Parallax garde softmax exactement et ajoute une branche de correction de covariance apprise par-dessus. La motivation est la qualité, pas la vitesse : la théorie sous-jacente (Local Linear Attention, dérivée de statistiques non-paramétriques dans un framework de régression à test-time) upgrade l'estimation locale constante de softmax vers une estimation locale linéaire, avec des tradeoffs bias-variance prouvés meilleurs pour la mémoire associative. À l'échelle 1.7B avec l'optimiseur Muon, Parallax bat la baseline Transformer de 1,02 points en précision downstream (62,45 vs 61,43), et surpasse Mamba, Gated DeltaNet, MesaNet et Kimi DeltaAttention sur MAD-Benchmark avec 0,716 de précision moyenne.

Le mécanisme est additif. La sortie égale l'attention softmax moins un terme de covariance projetée : la covariance KV se multiplie par un probe appris ρᵢ = WR·xᵢ, où WR est une matrice de projection apprenable qui probe la covariance KV directement depuis l'input de la couche. La propriété de design cruciale : mettre WR = 0 récupère softmax standard exactement. Ça veut dire que tu peux convertir un checkpoint Transformer pré-entraîné en ajoutant WR et fine-tuning, sans repartir de zéro. Côté compute : Parallax double l'intensité arithmétique en réutilisant le même flux KV pour les deux branches, et sur un kernel decode NVIDIA H200 match ou outperform FlashAttention 2 et 3 (speedup 1,54x compute-matched, 1,14x I/O-matched, à travers batches 1 à 2048 et contextes 128 à 32768). Caveat critique : les gains dépendent de l'optimiseur. Sous Muon, l'architecture a un avantage substantiel. Sous AdamW, l'avantage rétrécit markedly ou disparaît, une dépendance codesign architecture-optimiseur inhabituelle qui limite où tu peux appliquer ce drop-in. Important : ce n'est PAS de l'attention à complexité linéaire. Le cache KV reste requis pour le decoding ; la structure est softmax-attention-shaped, pas Mamba-shaped.

Deux fils à pauser. Premièrement, l'inversion narrative est intéressante en soi. L'histoire dominante de l'attention linéaire depuis des années a été "remplacer softmax pour échapper à la complexité quadratique," et Performer, Linformer, Hyena, Mamba, plus le MSA de MiniMax M3 vivent tous dans ce frame. Parallax dit : softmax était l'estimation locale constante d'une chose plus générale, et la chose plus générale est l'estimation locale linéaire, qui est théoriquement meilleure. Le fix n'est pas de remplacer softmax, c'est de l'étendre. Ce reframing matter pour les builders qui pensent le design d'attention : il y a une couche de théorie sous le paysage empirique qui suggère que softmax n'est pas un plafond, c'est un point de départ. Deuxièmement, le finding codesign optimiseur-architecture est honnête et rare. La plupart des papers ne publient pas "nos gains s'évaporent sous AdamW." Tilde Research et collaborateurs le flagging veut dire que les futurs travaux de la famille LLA devront tracker quel régime d'optimiseur ils habitent, et Muon vient de gagner une raison concrète d'être étudié aux côtés des innovations architecturales qu'il enable.

Lundi matin, si t'entraînes des modèles de langage from scratch à l'échelle 1 à 2B et as Muon disponible : Parallax vaut le traitement comme baseline drop-in contre softmax vanille, vu le code ouvert à github.com/Yifei-Zuo/Parallax et la rétrocompat WR=0 pour conversion de checkpoint pré-entraîné. Le kernel decode H200 match FlashAttention 2 et 3, donc le coût inference-side n'est pas une barrière. Si t'es stuck sur AdamW pour raisons de compat, les gains peuvent ne pas se matérialiser ; vérifie sur ton propre run d'entraînement avant de t'engager. Si tu construis à partir de primitives et care du design d'attention comme premier principe, la théorie LLA (test-time regression, estimation locale linéaire) est le paper à lire ; l'implémentation Parallax est une paramétrisation, pas la seule possible. Et si tu fais du frontier-scale work, les chiffres 1.7B sont encourageants mais le codesign architecture-optimiseur a besoin de vérification à ton échelle avant de parier ton infra.