Aller au contenu principal
Zubnet AI › Apprendre › Wiki › NPU
Infrastructure

NPU

Aussi appelé : Neural Processing Unit, Unité de traitement neuronal, Accélérateur d'IA
Une puce, ou une partie de puce, conçue spécialement pour exécuter efficacement des réseaux de neurones, présente dans les téléphones, les ordinateurs portables et d'autres appareils pour l'IA embarquée.

Pourquoi c'est important

Les NPU sont ce qui rend praticables les fonctions d'IA toujours actives sur les appareils à batterie : déverrouillage par le visage, traitement photo, sous-titres en direct, flou d'arrière-plan dans les appels vidéo, dictée vocale, traduction sur l'appareil. Les exécuter sur le CPU ou le GPU viderait la batterie et ferait chauffer l'appareil.

Ils sont devenus un argument marketing en 2024, quand Microsoft a lancé les PC Copilot+, une catégorie qui exige un NPU d'au moins 40 TOPS. Cela a poussé tous les fabricants de puces pour portables à livrer des NPU plus rapides, et « PC IA » est devenu une étiquette sur la plupart des nouvelles machines.

En profondeur

Un NPU (neural processing unit, ou unité de traitement neuronal) est un processeur conçu pour une seule tâche : l'arithmétique matricielle de l'inférence des réseaux de neurones. Là où un CPU est un généraliste et un GPU un puissant moteur parallèle, un NPU échange la flexibilité contre l'efficacité. Il exécute un ensemble restreint d'opérations, en général sur des entiers de faible précision, en consommant très peu d'énergie.

La plupart des NPU ne sont pas des puces séparées. Ce sont des blocs à l'intérieur d'un système sur puce (SoC), à côté du CPU et du GPU. Le Neural Engine d'Apple équipe les iPhone depuis l'A11 en 2017 et se trouve dans tous les Mac Apple Silicon. Les puces Snapdragon de Qualcomm ont le NPU Hexagon, les processeurs Core Ultra d'Intel en intègrent un sous la marque AI Boost, et AMD livre le sien dans les puces Ryzen AI.

Ce que signifie TOPS

Les performances des NPU sont annoncées en TOPS, des milliers de milliards d'opérations par seconde. Le Snapdragon X Elite a été lancé à 45 TOPS, Lunar Lake d'Intel à 48 et la série Ryzen AI 300 d'AMD à 50. Prenez ces chiffres avec prudence. Le TOPS est un pic théorique, généralement mesuré avec des calculs sur entiers 8 bits, et il ne dit rien de la bande passante mémoire, des opérations prises en charge ni de la qualité du logiciel, qui comptent souvent davantage en pratique. Deux NPU affichant le même TOPS peuvent se comporter très différemment sur un vrai modèle.

Ce que les NPU font bien, et moins bien

Les NPU excellent avec des modèles petits à moyens, aux formes fixes, qui tournent en continu : modèles de vision, reconnaissance vocale, suppression du bruit, petits modèles de langage. Ils exigent en général que le modèle soit quantifié en entiers 8 bits et converti dans un format propre au fabricant.

Ils ont été beaucoup moins utiles pour les grands modèles de langage. Les LLM sont limités par la capacité et la bande passante mémoire plus que par l'arithmétique brute, ils travaillent avec des longueurs de séquence variables, et beaucoup de NPU ne prennent pas en charge des opérations dont ils ont besoin. C'est pourquoi les outils populaires de LLM en local, comme Ollama, LM Studio et llama.cpp, tournent surtout sur le GPU ou le CPU et ignorent le NPU. Les exceptions sont des modèles que le fournisseur de la plateforme a spécifiquement adaptés, comme Phi Silica de Microsoft sur les PC Copilot+, Gemini Nano de Google sur Android et les modèles embarqués d'Apple Intelligence.

Une pile logicielle fragmentée

Chaque fabricant a sa propre chaîne d'outils : Core ML pour Apple, QNN pour Qualcomm, OpenVINO pour Intel, le logiciel Ryzen AI pour AMD et LiteRT (anciennement TensorFlow Lite) sur Android. Des couches multiplateformes comme ONNX Runtime et Windows ML essaient de masquer les différences, avec des résultats mitigés. Pour les développeurs, cette fragmentation est le principal obstacle. Un modèle qui tourne sur un NPU demande souvent une conversion et des tests séparés pour un autre, et si une opération n'est pas prise en charge, elle peut se rabattre discrètement sur le CPU, où les performances s'effondrent.

La grande famille des accélérateurs d'IA

« Accélérateur d'IA » est le terme plus large qui désigne tout matériel spécialisé pour les réseaux de neurones. Dans les centres de données, cela comprend les TPU de Google, Trainium d'Amazon, Maia de Microsoft, MTIA de Meta et les puces d'entreprises comme Cerebras et Groq. Ces puces sont infiniment plus grosses et visent l'entraînement ou le service de grands modèles, mais le principe est le même : renoncer à la généralité pour gagner en efficacité sur une seule charge de travail.

Faut-il s'en soucier à l'achat ?

Pour faire tourner des LLM en local, regardez d'abord la mémoire et le GPU : combien de RAM ou de VRAM la machine possède, et à quelle vitesse cette mémoire fonctionne. Pour l'autonomie et les fonctions intégrées comme les sous-titres en direct ou les effets de webcam, le NPU compte. Si vous développez des applications, ne ciblez le NPU que lorsque vous avez besoin d'une inférence soutenue et économe en énergie pour un petit modèle, et prévoyez un repli sur le GPU ou le CPU.

← Tous les termes
ESC