Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › NPU
Infraestrutura

NPU

Também conhecido como: Neural Processing Unit, Unidade de processamento neural, Acelerador de IA
Um chip, ou parte de um chip, feito especificamente para executar redes neurais com eficiência, presente em celulares, notebooks e outros aparelhos para IA no dispositivo.

Por que isso importa

As NPUs são o que torna práticos os recursos de IA sempre ativos em aparelhos a bateria: desbloqueio facial, processamento da câmera, legendas ao vivo, desfoque de fundo em videochamadas, ditado por voz, tradução no dispositivo. Rodar isso na CPU ou na GPU esgotaria a bateria e esquentaria o aparelho.

Elas viraram manchete de marketing em 2024, quando a Microsoft apresentou os Copilot+ PCs, uma categoria que exige uma NPU de 40 TOPS ou mais. Isso levou todos os fabricantes de chips para notebooks a lançar NPUs mais rápidas, e "AI PC" virou um rótulo na maioria das máquinas novas.

Em profundidade

Uma NPU (neural processing unit, ou unidade de processamento neural) é um processador projetado para um único trabalho: a aritmética de matrizes da inferência de redes neurais. Enquanto a CPU é uma generalista e a GPU é um poderoso motor paralelo, a NPU troca flexibilidade por eficiência. Ela faz um conjunto restrito de operações, geralmente com inteiros de baixa precisão, gastando muito pouca energia.

A maioria das NPUs não são chips separados. São um bloco dentro de um system-on-chip (SoC), ao lado da CPU e da GPU. O Neural Engine da Apple está nos iPhones desde o A11, de 2017, e em todos os Macs com Apple Silicon. Os chips Snapdragon da Qualcomm têm a NPU Hexagon, os processadores Core Ultra da Intel incluem uma com a marca AI Boost, e a AMD traz a sua nos chips Ryzen AI.

O que significa TOPS

O desempenho das NPUs é anunciado em TOPS, trilhões de operações por segundo. O Snapdragon X Elite foi lançado com 45 TOPS, o Lunar Lake da Intel com 48 e a série Ryzen AI 300 da AMD com 50. Trate esses números com cautela. TOPS é um pico teórico, geralmente medido com aritmética de inteiros de 8 bits, e não diz nada sobre largura de banda de memória, operações suportadas ou qualidade do software, que muitas vezes importam mais na prática. Duas NPUs com o mesmo TOPS podem ter desempenhos muito diferentes em um modelo real.

No que as NPUs são boas, e no que não são

As NPUs se destacam com modelos pequenos e médios, de formatos fixos, que rodam continuamente: modelos de visão, reconhecimento de fala, supressão de ruído, modelos de linguagem pequenos. Elas geralmente exigem que o modelo seja quantizado para inteiros de 8 bits e convertido para um formato do fabricante.

Elas têm sido bem menos úteis para grandes modelos de linguagem. Os LLMs são limitados pela capacidade e pela largura de banda de memória mais do que pela aritmética bruta, trabalham com comprimentos de sequência variáveis, e muitas NPUs não suportam operações de que eles precisam. É por isso que ferramentas populares de LLM local, como Ollama, LM Studio e llama.cpp, rodam principalmente na GPU ou na CPU e ignoram a NPU. As exceções são modelos que o fornecedor da plataforma adaptou especificamente, como o Phi Silica da Microsoft nos Copilot+ PCs, o Gemini Nano do Google no Android e os modelos no dispositivo do Apple Intelligence.

Uma pilha de software fragmentada

Cada fabricante tem sua própria cadeia de ferramentas: Core ML para a Apple, QNN para a Qualcomm, OpenVINO para a Intel, o software Ryzen AI para a AMD e LiteRT (antes TensorFlow Lite) no Android. Camadas multiplataforma como ONNX Runtime e Windows ML tentam esconder as diferenças, com resultados variados. Para os desenvolvedores, essa fragmentação é o principal obstáculo. Um modelo que roda em uma NPU muitas vezes precisa de conversão e testes separados para outra, e, se uma operação não for suportada, ela pode recair silenciosamente na CPU, onde o desempenho desaba.

A família mais ampla de aceleradores de IA

"Acelerador de IA" é o termo mais amplo para qualquer hardware especializado em redes neurais. Em data centers, isso inclui as TPUs do Google, o Trainium da Amazon, o Maia da Microsoft, o MTIA da Meta e chips de empresas como Cerebras e Groq. Esses são imensamente maiores e voltados a treinar ou servir modelos grandes, mas o princípio é o mesmo: abrir mão da generalidade para ganhar eficiência em uma única carga de trabalho.

Vale se preocupar na hora de comprar?

Para rodar LLMs localmente, olhe primeiro para a memória e a GPU: quanta RAM ou VRAM a máquina tem, e quão rápida ela é. Para duração da bateria e recursos embutidos como legendas ao vivo ou efeitos de webcam, a NPU importa. Se você desenvolve aplicativos, mire na NPU apenas quando precisar de inferência contínua e de baixo consumo para um modelo pequeno, e planeje um fallback para GPU ou CPU.

← Todos os termos
ESC