NPU
Por qué importa
Las NPU son lo que hace prácticas las funciones de IA siempre activas en dispositivos con batería: desbloqueo facial, procesamiento de la cámara, subtítulos en vivo, desenfoque de fondo en videollamadas, dictado por voz, traducción en el dispositivo. Ejecutarlas en la CPU o la GPU agotaría la batería y calentaría el dispositivo.
Se convirtieron en un titular de marketing en 2024, cuando Microsoft presentó las PC Copilot+, una categoría que exige una NPU de 40 TOPS o más. Eso empujó a todos los fabricantes de chips para laptops a lanzar NPU más rápidas, y «PC con IA» se volvió una etiqueta en la mayoría de los equipos nuevos.
En profundidad
Una NPU (neural processing unit, o unidad de procesamiento neuronal) es un procesador diseñado para un solo trabajo: la aritmética de matrices de la inferencia de redes neuronales. Mientras que una CPU es generalista y una GPU es un potente motor paralelo, una NPU cambia flexibilidad por eficiencia. Realiza un conjunto reducido de operaciones, normalmente sobre enteros de baja precisión, usando muy poca energía.
La mayoría de las NPU no son chips separados. Son un bloque dentro de un sistema en chip (SoC), junto a la CPU y la GPU. El Neural Engine de Apple está en los iPhone desde el A11 en 2017 y en todas las Mac con Apple Silicon. Los chips Snapdragon de Qualcomm tienen la NPU Hexagon, los procesadores Core Ultra de Intel incluyen una con la marca AI Boost, y AMD incluye la suya en los chips Ryzen AI.
Qué significa TOPS
El desempeño de las NPU se anuncia en TOPS, billones de operaciones por segundo. Snapdragon X Elite se lanzó con 45 TOPS, Lunar Lake de Intel con 48 y la serie Ryzen AI 300 de AMD con 50. Toma estos números con cautela. TOPS es un pico teórico, normalmente medido con aritmética de enteros de 8 bits, y no dice nada sobre el ancho de banda de memoria, las operaciones soportadas o la calidad del software, que a menudo importan más en la práctica. Dos NPU con los mismos TOPS pueden rendir de forma muy distinta con un modelo real.
En qué son buenas las NPU y en qué no
Las NPU destacan con modelos pequeños y medianos, de formas fijas, que corren de manera continua: modelos de visión, reconocimiento de voz, supresión de ruido, modelos de lenguaje pequeños. Normalmente exigen que el modelo esté cuantizado a enteros de 8 bits y convertido a un formato del fabricante.
Han sido mucho menos útiles para los modelos de lenguaje grandes. Los LLM están limitados por la capacidad y el ancho de banda de memoria más que por la aritmética bruta, trabajan con longitudes de secuencia variables, y muchas NPU no soportan operaciones que necesitan. Por eso las herramientas populares de LLM locales, como Ollama, LM Studio y llama.cpp, corren sobre todo en la GPU o la CPU e ignoran la NPU. Las excepciones son modelos que el proveedor de la plataforma adaptó específicamente, como Phi Silica de Microsoft en las PC Copilot+, Gemini Nano de Google en Android y los modelos en el dispositivo de Apple Intelligence.
Una pila de software fragmentada
Cada fabricante tiene su propia cadena de herramientas: Core ML para Apple, QNN para Qualcomm, OpenVINO para Intel, el software Ryzen AI para AMD y LiteRT (antes TensorFlow Lite) en Android. Capas multiplataforma como ONNX Runtime y Windows ML intentan ocultar las diferencias, con resultados dispares. Para los desarrolladores, esta fragmentación es el principal obstáculo. Un modelo que corre en una NPU suele necesitar conversión y pruebas aparte para otra, y si una operación no está soportada, puede recaer silenciosamente en la CPU, donde el desempeño se desploma.
La familia más amplia de aceleradores de IA
«Acelerador de IA» es el término más amplio para cualquier hardware especializado en redes neuronales. En los centros de datos eso incluye las TPU de Google, Trainium de Amazon, Maia de Microsoft, MTIA de Meta y chips de empresas como Cerebras y Groq. Esos son muchísimo más grandes y apuntan a entrenar o servir modelos grandes, pero el principio es el mismo: renunciar a la generalidad para ganar eficiencia en una sola carga de trabajo.
¿Debería importarte al comprar?
Para ejecutar LLM en local, mira primero la memoria y la GPU: cuánta RAM o VRAM tiene el equipo, y qué tan rápida es. Para la duración de la batería y funciones integradas como los subtítulos en vivo o los efectos de cámara web, la NPU importa. Si desarrollas aplicaciones, apunta a la NPU solo cuando necesites inferencia sostenida y de bajo consumo para un modelo pequeño, y planea un respaldo en GPU o CPU.