Apple Silicon
Por que isso importa
A memória unificada fez do Mac uma das formas mais populares de rodar modelos grandes localmente. Um MacBook Pro com 128 GB de memória consegue carregar um modelo quantizado de 70 bilhões de parâmetros, que em um PC exigiria várias placas NVIDIA de ponta. Mac Studios com muita memória viraram uma escolha comum para rodar modelos abertos muito grandes em casa ou em escritórios pequenos, em silêncio e com pouco consumo de energia.
O Apple Silicon também é o hardware por trás dos modelos no dispositivo do Apple Intelligence, e um alvo central da trilha de IA local: ferramentas como Ollama, LM Studio, llama.cpp e MLX têm suporte de primeira linha para Mac.
Em profundidade
Em 2020, a Apple começou a trocar os processadores Intel dos Macs por chips próprios, a começar pelo M1. Cada chip reúne núcleos de CPU, uma GPU e um Neural Engine em uma única peça de silício, exceto os chips Ultra e os M5 Pro e Max, que são dois dies unidos. A característica central para a IA é a memória unificada: em vez de a GPU ter sua própria memória separada (VRAM), todas as partes do chip compartilham um grande reservatório de memória rápida.
Em um PC típico, o modelo precisa caber na VRAM da placa de vídeo, que vai de 8 a 32 GB nas placas domésticas. Em um Mac, a GPU pode usar a maior parte da memória do sistema, que pode ser de 64 GB, 128 GB ou até 512 GB no topo da linha.
Tamanho da memória versus velocidade da memória
Dois números importam para LLMs locais. A capacidade de memória decide o tamanho do modelo que você consegue carregar. A largura de banda da memória decide a velocidade com que ele gera texto, porque produzir cada token exige percorrer os pesos do modelo. A largura de banda varia muito conforme a linha do chip: os chips básicos oferecem cerca de 100 a 150 GB/s, os Pro mais ou menos o dobro, os Max até 614 GB/s no M5 Max e os Ultra mais de 800 GB/s. Uma GPU NVIDIA dedicada de ponta ainda tem mais, muitas vezes de 1.000 a 1.800 GB/s, mas com bem menos memória.
Uma regra aproximada: tokens por segundo ≈ largura de banda ÷ tamanho do modelo na memória. Um modelo de 40 GB em um chip de 400 GB/s tem teto perto de 10 tokens por segundo.
Onde os Macs ficam atrás
Os Macs são bons em gerar tokens pelo preço e pelo consumo que têm, mas mais lentos no processamento do prompt (ler uma entrada longa antes de responder), que depende de poder de computação bruto. Documentos longos ou bases de código grandes podem levar um tempo perceptível para serem "lidos". Treinar e fazer fine-tuning de modelos grandes também é bem mais lento do que em hardware NVIDIA. A geração M5 da Apple (2025) acrescentou unidades matriciais dedicadas dentro da GPU, que miram justamente essa diferença.
Software
- MLX: o framework de machine learning da própria Apple, pensado em torno da memória unificada.
- llama.cpp / Ollama / LM Studio: rodam modelos GGUF usando o Metal, o framework de GPU da Apple. O LM Studio também roda modelos MLX.
- PyTorch: oferece suporte às GPUs dos Macs por meio do backend MPS, útil para experimentar.
- Core ML: o framework da Apple para embutir modelos em aplicativos.
Dicas práticas
Por padrão, o macOS limita quanta memória a GPU pode usar (mais ou menos de dois terços a três quartos do total), e esse limite pode ser aumentado com uma configuração do sistema em máquinas dedicadas à IA. Deixe espaço para o cache KV, porque contextos longos exigem vários gigabytes a mais. Na hora da compra, a capacidade de memória é a especificação que você não consegue ampliar depois.