Saltar al contenido principal
Zubnet AI › Aprender › Wiki › TTFT
Infraestructura

TTFT

También conocido como: Time to First Token, Tiempo hasta el primer token
La demora entre enviar una solicitud a un modelo y recibir el primer token de su respuesta, la principal medida de qué tan ágil se siente una aplicación de IA.

Por qué importa

En productos interactivos, el TTFT es la latencia que los usuarios realmente sienten. Las interfaces de chat apuntan a uno o dos segundos como máximo. Los agentes de voz son más estrictos: una conversación natural necesita que toda la cadena de reconocimiento de voz, LLM y síntesis de voz responda en cerca de un segundo, lo que deja solo unos cientos de milisegundos para el primer token del modelo. El autocompletado de código tiene que ser todavía más rápido.

En trabajo no interactivo, como los trabajos por lotes, el TTFT casi no importa y lo que cuenta es el rendimiento total. Saber de qué métrica depende tu caso de uso te dice qué optimizar, y qué modelo y proveedor elegir.

En profundidad

El tiempo hasta el primer token (TTFT, por time to first token) mide cuánto espera un usuario antes de que aparezca algo. Con streaming, una respuesta que tarda 20 segundos en terminar igual puede sentirse rápida si las primeras palabras aparecen en medio segundo, porque el usuario empieza a leer enseguida. Con un TTFT malo, hasta un modelo rápido se siente lento.

El TTFT es uno de los dos números que describen la velocidad de un LLM. El otro es la velocidad de salida, medida en tokens por segundo (TPS) una vez que empezó la generación. El tiempo total de respuesta es aproximadamente el TTFT más la cantidad de tokens de salida dividida por los TPS.

De qué se compone el TTFT

  • Red: el viaje de ida y vuelta hasta el proveedor, más el establecimiento de la conexión si no se reutiliza.
  • Cola: la espera por capacidad en un servidor ocupado. Es la parte que se dispara en las horas pico.
  • Prefill: el modelo procesa todo el prompt antes de poder producir el primer token. Esto crece con la longitud del prompt, así que un prompt de 100.000 tokens tiene un TTFT notablemente más alto que uno de 1.000.
  • Pensamiento: los modelos de razonamiento generan tokens de razonamiento ocultos antes de la respuesta visible. Desde el punto de vista del usuario todo eso es tiempo de espera, y puede ir de segundos a minutos.

Cómo reducirlo

  • Usa prompt caching. Si la parte larga y estable de tu prompt (prompt de sistema, documentos, definiciones de herramientas) va primero y está en caché, el servidor se salta la mayor parte del prefill. Anthropic reporta reducciones de latencia de hasta un 85 % en prompts largos.
  • Acorta el prompt. Recupera menos chunks, pero mejores, y recorta el historial viejo.
  • Elige un modelo más pequeño o más rápido. Los modelos pequeños tienen menor TTFT, y proveedores de inferencia especializados como Groq y Cerebras están hechos para la velocidad.
  • Baja el esfuerzo de razonamiento, o desactiva el pensamiento extendido donde una respuesta rápida sea suficiente.
  • Mantente cerca. Elige una región cercana a tus usuarios y mantén las conexiones abiertas.
  • Paga por capacidad. La capacidad aprovisionada (provisioned throughput) y los niveles prioritarios reducen la cola.

Velocidad percibida

Cuando el TTFT no se puede reducir, gestiona la espera. Muestra progreso lo antes posible: un indicador de escritura, una línea de estado como «Buscando…» o un resumen en streaming del razonamiento del modelo. En voz, un breve acuse de recibo puede cubrir el hueco. En productos con agentes, donde una tarea completa toma minutos, la primera señal visible de actividad importa más que el primer token de la respuesta final.

Cómo medirlo bien

  • Usa percentiles. Un promedio esconde la cola lenta. Sigue p50, p95 y p99, ya que el 5 % más lento de las solicitudes define cómo se siente el producto.
  • Mide desde el cliente. Los paneles de los proveedores excluyen el tiempo de red y a veces la cola.
  • Prueba con tus prompts reales. El TTFT depende de la longitud de la entrada, así que los benchmarks públicos con prompts cortos pueden estar muy lejos de la realidad para una aplicación de RAG.
  • Obsérvalo a lo largo del tiempo. El TTFT cambia con la carga del proveedor durante el día.

Métricas relacionadas

La latencia entre tokens es el intervalo entre tokens consecutivos, que determina qué tan fluido se ve un stream. La latencia de extremo a extremo es el tiempo hasta que la respuesta completa está lista. Es el número que importa para las llamadas a herramientas y la salida estructurada, donde nada es utilizable hasta que llega el último token.

← Todos los términos
ESC