A distância entre os modelos publicados e as máquinas que a maioria das pessoas tem foi o problema inteiro dos pesos abertos neste ano. Dois lançamentos desta semana encurtam essa distância por lados opostos.

O FreeToken, lançado na sexta-feira, é o que seu README chama de motor de serviço mixture-of-experts nativo da borda, de pesquisadores da UC Berkeley e do MIT com Ion Stoica, Matei Zaharia, Song Han e Kurt Keutzer entre os autores, sob Apache 2.0 no GitHub como FlashML-org/FreeToken, artigo em arXiv 2608.16157. A ideia é escalonamento, não compressão. O descarregamento estático de especialistas trava a GPU sempre que um especialista necessário não está residente, então o FreeToken usa o que o artigo chama de política q estrela, dividindo a computação de cada token entre os núcleos da CPU e os núcleos tensoriais da GPU com base na vazão PCIe medida, com um formato de pesos rápido e buffer duplo de camada inteira para que a transmissão de pesos se sobreponha ao cálculo, e um gerenciador de memória elástico que move VRAM entre o cache KV e os espaços de especialistas em tempo de execução. A InfoQ traz os números: Qwen3.6-35B a cerca de 39 tokens por segundo em um notebook RTX 4060 de 8 GB, DeepSeek-V4-Flash com 284 bilhões de parâmetros em um desktop RTX 5090, GLM-5.2 com 753 bilhões em uma única GPU de estação de trabalho, e decodificação de 3 a 4 vezes mais rápida com preenchimento inicial de 6 a 30 vezes mais rápido em relação a Ollama e llama.cpp. O suporte cobre as séries RTX 30, 40 e 50 no Linux e no Windows, com pesos MXFP4, NVFP4, FP8 e BF16.

A outra direção é a quantização. A Unsloth publicou na quinta-feira um GGUF de 3 bits do GLM-5.3-Flash, o modelo que a Z.ai revelou nesta semana como o Ox Alpha que passou seis dias no topo da OpenRouter. O AI Times coloca o arquivo em cerca de 120 GB, aproximadamente 81 por cento menor que a versão em precisão total, rodando em uma máquina de 128 GB como um Mac Studio ou uma estação de trabalho sem exigir GPU, e a Unsloth afirma manter 82 por cento do desempenho do modelo BF16 usando quantização seletiva por camada com monitoramento de divergência KL para manter próxima a distribuição de saída. Essa afirmação é do próprio fornecedor, assim como a linha do cartão da Z.ai dizendo que o GLM-5.3-Flash se aproxima do Claude Opus 4.8 em benchmarks de programação e agênticos.

Junte os dois e o quadro prático muda. Um modelo multimodal de 320 bilhões de parâmetros com pesos MIT, um motor que trata uma GPU de consumo e sua CPU hospedeira como um único problema de escalonamento, e uma quantização que cabe tudo isso na memória do sistema: o degrau de fronteira ainda não é local, mas o degrau abaixo dele já roda em um bom desktop. O que observar é se benchmarks independentes reproduzem as alegações de vazão, e quanta qualidade o caminho de 3 bits realmente custa em trabalho real, e não em perplexidade.