Streaming de respostas se tornou o padrão de UX padrão para aplicações de IA, seguindo o exemplo do ChatGPT ao exibir respostas parciais conforme são geradas ao invés de esperar pelas saídas completas. A técnica se divide em duas implementações principais: Server-Sent Events para streaming simples unidirecional, e WebSockets para comunicação bidirecional necessária em fluxos de trabalho complexos como sistemas multi-agentes ou assistentes de código. Embora o streaming melhore a responsividade percebida, ele não faz a inferência do modelo ser realmente mais rápida.

A obsessão com streaming revela um mal-entendido fundamental sobre performance de apps de IA. Desenvolvedores focam na última milha — quão rápido usuários veem o texto aparecer — enquanto ignoram os verdadeiros gargalos. Seleção de modelo, otimização de prompts e cache inteligente entregam melhorias reais de latência. Streaming apenas mascara respostas lentas com melhor UX, o que importa mas não deveria ser sua primeira otimização. Vimos muitos times implementarem configurações elaboradas de streaming enquanto seus apps ainda levam 8 segundos para gerar uma resposta simples.

O que está faltando na maioria das discussões sobre streaming é a complexidade de infraestrutura que adiciona. SSE requer manter conexões persistentes, lidar com interrupções de rede e gerenciar estado através de respostas parciais. WebSockets são ainda mais complexos, requerendo manipulação bidirecional de mensagens e gerenciamento do ciclo de vida da conexão. Para a maioria das aplicações de IA, essa complexidade adicional não se justifica — especialmente quando cache adequado de prompts e roteamento de modelo entregariam melhores ganhos de performance com menos overhead de engenharia.

Para desenvolvedores construindo apps de IA: implementem streaming depois de terem otimizado sua performance real do modelo, não antes. Comecem com cache de respostas, experimentem com modelos mais rápidos para tarefas simples, e otimizem seus prompts. Streaming deveria ser seu acabamento, não sua estratégia de performance. Usuários notam mais a diferença entre uma resposta de 2 segundos e 8 segundos do que notam efeitos de streaming em respostas já rápidas.