Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › TTFT
Infraestrutura

TTFT

Também conhecido como: Time to First Token, Tempo até o primeiro token
O atraso entre o envio de uma requisição a um modelo e o recebimento do primeiro token da resposta, a principal medida de quão responsiva uma aplicação de IA parece.

Por que isso importa

Em produtos interativos, o TTFT é a latência que os usuários realmente sentem. Interfaces de chat miram um ou dois segundos no máximo. Agentes de voz são mais exigentes: uma conversa natural precisa que todo o pipeline de reconhecimento de fala, LLM e síntese de fala responda em cerca de um segundo, o que deixa só algumas centenas de milissegundos para o primeiro token do modelo. O autocompletar de código precisa ser ainda mais rápido.

Em trabalhos não interativos, como jobs em lote, o TTFT quase não importa e o que conta é o throughput total. Saber de qual métrica o seu caso de uso depende diz o que otimizar, e qual modelo e provedor escolher.

Em profundidade

O tempo até o primeiro token (TTFT, de time to first token) mede quanto tempo o usuário espera até que alguma coisa apareça. Com streaming, uma resposta que leva 20 segundos para terminar ainda pode parecer rápida se as primeiras palavras surgirem em meio segundo, porque o usuário começa a ler na hora. Com um TTFT ruim, até um modelo rápido parece lento.

O TTFT é um dos dois números que descrevem a velocidade de um LLM. O outro é a velocidade de saída, medida em tokens por segundo (TPS) depois que a geração começou. O tempo total de resposta é aproximadamente o TTFT mais o número de tokens de saída dividido pelo TPS.

Do que o TTFT é feito

  • Rede: a ida e volta até o provedor, mais o estabelecimento da conexão, se ela não for reutilizada.
  • Fila: a espera por capacidade em um servidor ocupado. É a parte que dispara nos horários de pico.
  • Prefill: o modelo processa o prompt inteiro antes de poder produzir o primeiro token. Isso cresce com o tamanho do prompt, então um prompt de 100.000 tokens tem um TTFT visivelmente maior do que um de 1.000.
  • Raciocínio: modelos de raciocínio geram tokens de raciocínio ocultos antes da resposta visível. Do ponto de vista do usuário, tudo isso é tempo de espera, e pode ir de segundos a minutos.

Como reduzir

  • Use cache de prompt. Se a parte longa e estável do seu prompt (prompt de sistema, documentos, definições de ferramentas) vier primeiro e estiver em cache, o servidor pula a maior parte do prefill. A Anthropic relata reduções de latência de até 85% em prompts longos.
  • Encurte o prompt. Recupere menos chunks, porém melhores, e corte o histórico antigo.
  • Escolha um modelo menor ou mais rápido. Modelos pequenos têm TTFT menor, e provedores de inferência especializados como Groq e Cerebras são feitos para velocidade.
  • Reduza o esforço de raciocínio, ou desligue o pensamento estendido onde uma resposta rápida já basta.
  • Fique perto. Escolha uma região próxima dos seus usuários e mantenha as conexões abertas.
  • Pague por capacidade. Throughput provisionado e níveis prioritários reduzem a fila.

Velocidade percebida

Quando não dá para reduzir o TTFT, administre a espera. Mostre progresso o quanto antes: um indicador de digitação, uma linha de status como "Pesquisando…" ou um resumo em streaming do raciocínio do modelo. Em voz, uma confirmação curta pode cobrir o intervalo. Em produtos com agentes, em que uma tarefa completa leva minutos, o primeiro sinal visível de atividade importa mais do que o primeiro token da resposta final.

Como medir direito

  • Use percentis. Uma média esconde a cauda lenta. Acompanhe p50, p95 e p99, já que os 5% mais lentos das requisições definem a sensação que o produto passa.
  • Meça a partir do cliente. Os painéis dos provedores excluem o tempo de rede e, às vezes, a fila.
  • Teste com os seus prompts reais. O TTFT depende do tamanho da entrada, então benchmarks públicos com prompts curtos podem ficar muito longe da realidade de um app de RAG.
  • Acompanhe ao longo do tempo. O TTFT muda com a carga do provedor ao longo do dia.

Métricas relacionadas

A latência entre tokens é o intervalo entre tokens consecutivos, que determina quão fluido um stream parece. A latência de ponta a ponta é o tempo até a resposta completa ficar pronta. É o número que importa para chamadas de ferramentas e saída estruturada, em que nada é utilizável até o último token chegar.

← Todos os termos
ESC