TTFT
Pourquoi c'est important
Pour les produits interactifs, le TTFT est la latence que les utilisateurs ressentent vraiment. Les interfaces de chat visent une seconde ou deux au maximum. Les agents vocaux sont plus exigeants : une conversation naturelle demande que toute la chaîne (reconnaissance vocale, LLM et synthèse vocale) réponde en une seconde environ, ce qui ne laisse que quelques centaines de millisecondes pour le premier token du modèle. La complétion de code doit être encore plus rapide.
Pour le travail non interactif, comme les traitements par lots, le TTFT compte à peine et c'est le débit total qui importe. Savoir de quelle métrique dépend votre cas d'usage vous indique quoi optimiser, et quel modèle et quel fournisseur choisir.
En profondeur
Le délai avant le premier token (TTFT, pour time to first token) mesure combien de temps un utilisateur attend avant que quoi que ce soit n'apparaisse. Avec le streaming, une réponse qui met 20 secondes à se terminer peut quand même sembler rapide si les premiers mots arrivent en une demi-seconde, parce que l'utilisateur commence à lire tout de suite. Avec un mauvais TTFT, même un modèle rapide paraît poussif.
Le TTFT est l'un des deux chiffres qui décrivent la vitesse d'un LLM. L'autre est la vitesse de sortie, mesurée en tokens par seconde (TPS) une fois la génération commencée. Le temps de réponse total vaut à peu près le TTFT plus le nombre de tokens de sortie divisé par le TPS.
De quoi se compose le TTFT
- Réseau : l'aller-retour jusqu'au fournisseur, plus l'établissement de la connexion si elle n'est pas réutilisée.
- File d'attente : l'attente de capacité sur un serveur occupé. C'est la partie qui explose aux heures de pointe.
- Prefill : le modèle traite l'intégralité du prompt avant de pouvoir produire le premier token. Cela augmente avec la longueur du prompt, si bien qu'un prompt de 100 000 tokens a un TTFT nettement plus élevé qu'un prompt de 1 000 tokens.
- Réflexion : les modèles de raisonnement génèrent des tokens de raisonnement cachés avant la réponse visible. Du point de vue de l'utilisateur, tout cela est du temps d'attente, qui peut aller de quelques secondes à plusieurs minutes.
Comment le réduire
- Utilisez le prompt caching. Si la partie longue et stable de votre prompt (prompt système, documents, définitions d'outils) vient en premier et est mise en cache, le serveur saute l'essentiel du prefill. Anthropic indique des réductions de latence allant jusqu'à 85 % pour les longs prompts.
- Raccourcissez le prompt. Récupérez moins de chunks, mais de meilleure qualité, et élaguez l'ancien historique.
- Choisissez un modèle plus petit ou plus rapide. Les petits modèles ont un TTFT plus faible, et des fournisseurs d'inférence spécialisés comme Groq et Cerebras sont conçus pour la vitesse.
- Baissez l'effort de raisonnement, ou désactivez la réflexion étendue là où une réponse rapide suffit.
- Restez proche. Choisissez une région près de vos utilisateurs et gardez les connexions ouvertes.
- Payez pour de la capacité. Le débit provisionné et les niveaux prioritaires réduisent l'attente en file.
La vitesse perçue
Quand le TTFT ne peut pas être réduit, gérez l'attente. Montrez une progression le plus tôt possible : un indicateur de saisie, une ligne d'état comme « Recherche en cours… » ou un résumé diffusé en continu de la réflexion du modèle. Pour la voix, un bref accusé de réception peut combler le vide. Dans les produits à base d'agents, où une tâche complète prend des minutes, le premier signe visible d'activité compte plus que le premier token de la réponse finale.
Bien le mesurer
- Utilisez des percentiles. Une moyenne cache la queue lente. Suivez les p50, p95 et p99, car les 5 % de requêtes les plus lentes façonnent l'impression que donne le produit.
- Mesurez depuis le client. Les tableaux de bord des fournisseurs excluent le temps réseau et parfois la file d'attente.
- Testez avec vos vrais prompts. Le TTFT dépend de la longueur de l'entrée, donc les benchmarks publics faits avec des prompts courts peuvent être très éloignés de la réalité pour une application RAG.
- Surveillez-le dans la durée. Le TTFT change avec la charge du fournisseur au fil de la journée.
Métriques voisines
La latence inter-tokens est l'écart entre deux tokens consécutifs, qui détermine la fluidité apparente d'un flux. La latence de bout en bout est le temps écoulé jusqu'à ce que la réponse complète soit terminée. C'est le chiffre qui compte pour les appels d'outils et la sortie structurée, où rien n'est utilisable avant l'arrivée du dernier token.