GPT
Pourquoi c’est important
En profondeur
L'histoire de GPT est en réalité trois histoires empilées l'une sur l'autre. La première est une histoire de mise à l'échelle : à partir du GPT-1 de 117 millions de paramètres en 2018, OpenAI a montré qu'un transformer entraîné à prédire le token suivant sur suffisamment de texte brut devient un système de langage généraliste étonnamment capable, et chaque génération — GPT-2, GPT-3, GPT-4 — a acheté de grands sauts de capacités essentiellement en achetant plus de calcul et de données. La deuxième est une histoire d'alignement : les prédicteurs de token suivant bruts sont malcommodes à utiliser, donc OpenAI a ajouté par-dessus l'ajustement par instructions et le retour humain, transformant un moteur de complétion de texte en l'assistant conversationnel qui a rendu la famille célèbre. La troisième est une histoire d'unification : les versions récentes réintègrent la multimodalité et le raisonnement délibéré étape par étape dans un seul produit phare, si bien que « GPT » désigne désormais toute une gamme de produits plutôt qu'une seule architecture.
Les débuts : de GPT-1 à GPT-3
GPT-1 (2018) a introduit la recette dans un article au titre modeste, « Improving Language Understanding by Generative Pre-Training » : pré-entraîner un transformer à décodeur seul sur un vaste corpus non étiqueté, puis l'ajuster finement pour chaque tâche. Avec 117 millions de paramètres, c'était une preuve de concept, mais la preuve a fonctionné. GPT-2 (2019, 1,5 milliard de paramètres) a mis la recette à l'échelle et montré qu'un modèle unique pouvait accomplir des tâches pour lesquelles il n'avait jamais été explicitement entraîné — traduction, résumé, réponse aux questions — simplement en lisant un prompt bien formulé; OpenAI a d'abord refusé de publier les poids complets par crainte d'abus, une avant-première de tous les débats de publication ultérieurs. GPT-3 (2020, 175 milliards de paramètres) a encore multiplié l'échelle par cent et rendu le tour suffisamment fiable pour en faire un produit : donnez au modèle quelques exemples dans le prompt et il saisit le motif, un comportement connu sous le nom d'apprentissage few-shot. Tout aussi important, GPT-3 a été distribué comme une API commerciale plutôt que comme des poids téléchargeables, établissant le modèle d'accès que la plupart des laboratoires de pointe suivent encore.
ChatGPT et le tournant du RLHF
Un modèle GPT de base ne répond pas aux questions — il continue le texte, donc il est aussi susceptible d'ajouter d'autres questions à votre liste que d'y répondre. InstructGPT (2022) a corrigé cela avec le RLHF : des annotateurs humains classaient les sorties du modèle, un modèle de récompense apprenait leurs préférences, et le modèle de langage était ajusté contre cette récompense jusqu'à suivre les instructions de façon fiable. ChatGPT, lancé en novembre 2022, a enveloppé un modèle de classe GPT-3.5 ajusté de cette manière dans une interface de chat gratuite, et il a atteint environ 100 millions d'utilisateurs en deux mois environ — à l'époque l'application grand public à la croissance la plus rapide jamais mesurée. La leçon que l'industrie en a tirée était inconfortable pour les partisans de la mise à l'échelle pure : le modèle avait à peine changé, mais la couche d'alignement et l'interface, si, et cela avait suffi à transformer une démo de recherche en produit de masse.
GPT-4, la série o et GPT-5
GPT-4 (2023) est la génération qui a rendu la famille crédible pour le travail professionnel — un grand bond en qualité de raisonnement, en suivi d'instructions et en fiabilité, avec l'entrée d'images en plus du texte. GPT-4o (2024) a rendu le modèle nativement multimodal : un seul réseau traitant texte, images et audio de bout en bout, plus rapide et moins cher que son prédécesseur, ce qui a permis le mode vocal en temps réel. En parallèle, OpenAI a lancé la série o (o1, puis o3) : des modèles entraînés par apprentissage par renforcement pour dépenser plus de tokens à réfléchir avant de répondre, échangeant de la latence contre de la précision en maths, en code et en sciences — l'idée du calcul au moment du test prise au sérieux. GPT-5 (août 2025) a fusionné les deux branches en un seul système qui achemine chaque requête entre un modèle conversationnel rapide et un modèle de raisonnement plus lent, si bien que les utilisateurs n'ont plus à choisir entre « intelligent mais lent » et « rapide mais superficiel ».
ChatGPT n'est pas GPT
Les termes sont utilisés de façon interchangeable, mais ils désignent des choses différentes, et les confondre provoque de vrais bugs dans le raisonnement sur les comportements. GPT est la famille de modèles : les poids que vous appelez via l'API, avec une fenêtre de contexte fixe, un prompt système que vous contrôlez, et aucune mémoire entre les appels sauf si vous la construisez. ChatGPT est un produit : l'un de ces modèles plus un prompt système, une mémoire de conversation, la navigation web, des outils de fichiers et des couches de modération, qui tous façonnent ce que vous voyez avant même que le modèle ne s'exécute. Quand quelqu'un rapporte que « GPT a refusé » ou « GPT s'est souvenu », le comportement vient généralement de l'enveloppe produit, pas du modèle de base — ce qui compte quand vous déplacez un prompt de l'application vers l'API et que les réponses changent. Une deuxième confusion, plus bénigne : « GPT » a dérivé vers un usage générique pour désigner n'importe quel chatbot, comme « Kleenex » désigne n'importe quel mouchoir, mais à proprement parler cela ne renvoie qu'à la famille d'OpenAI; Llama, Claude et Gemini ne sont pas des GPT.
Sous le capot
Architecturalement, chaque GPT est un transformer à décodeur seul : le texte d'entrée est tokenisé, converti en embeddings, puis passé à travers une pile de couches de self-attention, et l'entraînement ajuste les poids pour minimiser l'erreur de prédiction du token suivant sur un corpus de texte massif. Il n'y a ni encodeur ni objectif de tokens masqués — c'est le contraste clé avec BERT, l'autre lignée de transformers célèbre, qui lit le texte bidirectionnellement et a été conçue pour des tâches de compréhension plutôt que de génération. Comme tout ce que le modèle sait est figé dans les poids pendant le pré-entraînement, il a une date de coupure des connaissances stricte et aucune notion intégrée de vérité, c'est pourquoi il peut énoncer des choses fausses avec fluidité; lui fournir un contexte frais et factuel au moment de l'inférence via le RAG est la solution standard. La génération elle-même est autorégressive : le modèle échantillonne un token, l'ajoute, et recommence, donc les longues réponses sont littéralement des centaines de prédictions séquentielles.