Whisper
Pourquoi c’est important
En profondeur
Whisper traite la transcription comme un problème de séquence à séquence. L'audio entrant est rééchantillonné à 16 kHz en mono, converti en un spectrogramme log-Mel à 80 canaux, puis découpé en fenêtres de 30 secondes. La moitié encodeur du Transformer transforme le spectrogramme en une représentation latente, et le décodeur génère ensuite des tokens de texte de façon autorégressive, conditionné par cette représentation. Des tokens de contrôle spéciaux disent au décodeur quoi faire : dans quelle langue est l'audio, s'il faut transcrire ou traduire vers l'anglais, et s'il faut émettre des horodatages. Cette conception encodeur-décodeur fait qu'un seul modèle couvre plusieurs tâches qui exigeaient auparavant des systèmes distincts, y compris la détection de la langue comme sous-produit de la prédiction du token de langue.
Le pari de la supervision faible
La décision la plus importante derrière Whisper concerne la stratégie de données d'entraînement. Les modèles de reconnaissance vocale antérieurs s'entraînaient sur de petits corpus soigneusement étiquetés comme LibriSpeech, ce qui donnait une grande justesse sur de la parole lue en studio mais une performance fragile dans le monde réel. OpenAI a pris le chemin inverse : l'entreprise a collecté 680 000 heures d'audio accompagné de transcriptions déjà présentes sur Internet, puis a appliqué un filtrage automatisé pour retirer les transcriptions de faible qualité et celles générées par machine. Environ un tiers des données n'était pas en anglais, et à peu près 125 000 heures soutenaient la traduction vers l'anglais.
Troquer la qualité des étiquettes contre l'échelle s'est avéré le bon choix. Comme le modèle a vu une telle variété de locuteurs, de microphones, de pièces et de sujets, il gère les accents, le bruit de fond et le vocabulaire technique bien mieux que les modèles entraînés sur de l'audio de studio sélectionné. Il fonctionne aussi sans apprentissage préalable : pour la plupart des langues et des domaines, il n'y a pas d'étape d'ajustement fin, vous le pointez simplement vers l'audio. Le compromis, c'est que la justesse de Whisper en anglais sur de la parole propre est seulement compétitive plutôt qu'intouchable — son véritable avantage, c'est la robustesse sur la longue traîne désordonnée.
Tailles de modèles et exécution locale
Whisper n'est pas un modèle mais une famille : tiny (39 millions de paramètres), base (74 millions), small (244 millions), medium (769 millions) et large (environ 1,55 milliard), OpenAI ayant plus tard publié les points de contrôle raffinés large-v2 et large-v3. La justesse et le coût de calcul montent ensemble, donc l'habileté pratique consiste à apparier la taille à la charge de travail — un grand modèle pour la transcription d'archives où la qualité compte, un modèle tiny ou base pour le sous-titrage en direct où la latence domine. Les poids sont publiés sous une licence permissive, et c'est ce qui a fait de Whisper un standard en poids ouverts plutôt qu'une API de plus.
Tout un écosystème a poussé autour de l'exécution de ces poids en dehors des centres de données. Whisper.cpp porte le modèle en C/C++ simple pour qu'il tourne à une vitesse utilisable sur des portables et même des téléphones, tandis que faster-whisper applique des environnements d'exécution optimisés pour l'inférence sur GPU, et la quantification réduit les plus gros modèles assez pour les faire tenir dans quelques gigaoctets de mémoire. Exécuter localement n'est pas qu'une question de coût : de l'audio qui ne quitte jamais la machine contourne les préoccupations de confidentialité et la tarification à la minute, ce qui explique pourquoi Whisper est devenu la couche de transcription par défaut de tant d'outils auto-hébergés.
Il ne vous dira pas qui a parlé
Une idée fausse répandue veut que Whisper produise des transcriptions prêtes pour une réunion dès la sortie de la boîte. Ce n'est pas le cas. Whisper transcrit des mots et des horodatages, mais il n'a aucune notion de locuteur — déterminer qui a dit quoi, c'est la diarisation des locuteurs, un problème distinct qui exige de jumeler Whisper à un modèle de diarisation ou à un outil de chaîne de traitement qui fusionne les deux. S'attendre à des étiquettes de locuteur à partir de la sortie brute de Whisper est une erreur de catégorie qui fait trébucher bien des nouveaux venus.
Le deuxième piège, c'est que Whisper peut halluciner d'une manière typiquement propre à la parole : sur du silence, de la musique ou de l'audio très dégradé, il invente parfois des phrases fluides et plausibles qui n'ont jamais été dites. C'est dangereux en transcription médicale, juridique ou journalistique, où une phrase fausse énoncée avec assurance est pire que pas de phrase du tout. Les atténuations pratiques comprennent le filtrage des segments de faible énergie avant la transcription, l'abaissement de la température de décodage et le traitement des lignes répétées ou hors contexte dans la sortie comme un drapeau rouge plutôt que comme la vérité.
L'étalon auquel tout est mesuré
L'incidence la plus profonde de Whisper est positionnelle : il est devenu le point de référence de tout le domaine. Les API commerciales comme les modèles ouverts rapportent leur taux d'erreur sur les mots par rapport aux points de contrôle de Whisper, et un nouveau modèle de parole qui ne bat pas clairement large-v3 sur les bancs d'essai standards peine à attirer l'attention. Ironiquement, cette domination a aussi fait de Whisper la chose autour de laquelle on optimise — bien des systèmes plus récents gardent Whisper comme solution de repli pour les langues ou les conditions que leur propre modèle gère mal.
Son héritage plus large est méthodologique. Whisper a démontré que le pré-entraînement faiblement supervisé à grande échelle se transfère à l'audio tout comme il l'a fait au texte : donnez à un transformer assez de paires bruitées du monde réel et la robustesse émerge sans ingénierie propre à la tâche. Cette leçon a nourri directement la vague moderne d'IA vocale, des agents parole-à-parole en temps réel aux modèles multimodaux qui traitent l'audio comme une entrée de premier plan. Même à mesure que de nouvelles architectures arrivent, Whisper reste le modèle vers lequel la plupart des développeurs se tournent en premier — et celui auquel tout le reste est comparé.