TTFT
Por que isso importa
Em produtos interativos, o TTFT é a latência que os usuários realmente sentem. Interfaces de chat miram um ou dois segundos no máximo. Agentes de voz são mais exigentes: uma conversa natural precisa que todo o pipeline de reconhecimento de fala, LLM e síntese de fala responda em cerca de um segundo, o que deixa só algumas centenas de milissegundos para o primeiro token do modelo. O autocompletar de código precisa ser ainda mais rápido.
Em trabalhos não interativos, como jobs em lote, o TTFT quase não importa e o que conta é o throughput total. Saber de qual métrica o seu caso de uso depende diz o que otimizar, e qual modelo e provedor escolher.
Em profundidade
O tempo até o primeiro token (TTFT, de time to first token) mede quanto tempo o usuário espera até que alguma coisa apareça. Com streaming, uma resposta que leva 20 segundos para terminar ainda pode parecer rápida se as primeiras palavras surgirem em meio segundo, porque o usuário começa a ler na hora. Com um TTFT ruim, até um modelo rápido parece lento.
O TTFT é um dos dois números que descrevem a velocidade de um LLM. O outro é a velocidade de saída, medida em tokens por segundo (TPS) depois que a geração começou. O tempo total de resposta é aproximadamente o TTFT mais o número de tokens de saída dividido pelo TPS.
Do que o TTFT é feito
- Rede: a ida e volta até o provedor, mais o estabelecimento da conexão, se ela não for reutilizada.
- Fila: a espera por capacidade em um servidor ocupado. É a parte que dispara nos horários de pico.
- Prefill: o modelo processa o prompt inteiro antes de poder produzir o primeiro token. Isso cresce com o tamanho do prompt, então um prompt de 100.000 tokens tem um TTFT visivelmente maior do que um de 1.000.
- Raciocínio: modelos de raciocínio geram tokens de raciocínio ocultos antes da resposta visível. Do ponto de vista do usuário, tudo isso é tempo de espera, e pode ir de segundos a minutos.
Como reduzir
- Use cache de prompt. Se a parte longa e estável do seu prompt (prompt de sistema, documentos, definições de ferramentas) vier primeiro e estiver em cache, o servidor pula a maior parte do prefill. A Anthropic relata reduções de latência de até 85% em prompts longos.
- Encurte o prompt. Recupere menos chunks, porém melhores, e corte o histórico antigo.
- Escolha um modelo menor ou mais rápido. Modelos pequenos têm TTFT menor, e provedores de inferência especializados como Groq e Cerebras são feitos para velocidade.
- Reduza o esforço de raciocínio, ou desligue o pensamento estendido onde uma resposta rápida já basta.
- Fique perto. Escolha uma região próxima dos seus usuários e mantenha as conexões abertas.
- Pague por capacidade. Throughput provisionado e níveis prioritários reduzem a fila.
Velocidade percebida
Quando não dá para reduzir o TTFT, administre a espera. Mostre progresso o quanto antes: um indicador de digitação, uma linha de status como "Pesquisando…" ou um resumo em streaming do raciocínio do modelo. Em voz, uma confirmação curta pode cobrir o intervalo. Em produtos com agentes, em que uma tarefa completa leva minutos, o primeiro sinal visível de atividade importa mais do que o primeiro token da resposta final.
Como medir direito
- Use percentis. Uma média esconde a cauda lenta. Acompanhe p50, p95 e p99, já que os 5% mais lentos das requisições definem a sensação que o produto passa.
- Meça a partir do cliente. Os painéis dos provedores excluem o tempo de rede e, às vezes, a fila.
- Teste com os seus prompts reais. O TTFT depende do tamanho da entrada, então benchmarks públicos com prompts curtos podem ficar muito longe da realidade de um app de RAG.
- Acompanhe ao longo do tempo. O TTFT muda com a carga do provedor ao longo do dia.
Métricas relacionadas
A latência entre tokens é o intervalo entre tokens consecutivos, que determina quão fluido um stream parece. A latência de ponta a ponta é o tempo até a resposta completa ficar pronta. É o número que importa para chamadas de ferramentas e saída estruturada, em que nada é utilizável até o último token chegar.