L'intuition clé : les caractéristiques de bas niveau se transfèrent d'une tâche à l'autre. Un modèle de vision entraîné sur ImageNet apprend à détecter les contours, les textures et les formes dans ses couches initiales — des caractéristiques utiles pour presque n'importe quelle tâche visuelle. Un modèle de langage entraîné sur du texte web apprend la grammaire, les faits et les patterns de raisonnement utiles pour presque n'importe quelle tâche linguistique. L'apprentissage par transfert exploite cela en réutilisant les connaissances générales et en n'entraînant que les parties spécifiques à la tâche.
Presque tous les systèmes d'IA aujourd'hui suivent ce pattern : (1) pré-entraîner un grand modèle sur un jeu de données massif et général (coûteux, fait une seule fois), (2) ajuster finement sur un jeu de données plus petit et spécifique à la tâche (pas cher, fait de nombreuses fois). BERT a inauguré cela pour le NLP en 2018. GPT l'a mis à l'échelle. Toute l'industrie des LLM est construite sur ce paradigme — les modèles de fondation sont la base pré-entraînée, et l'ajustement fin (incluant RLHF/DPO) est ce qui les rend utiles comme assistants.
L'apprentissage par transfert fonctionne mieux quand les domaines source et cible sont apparentés. Un modèle pré-entraîné sur du texte anglais se transfère bien au français (structure similaire) mais mal aux séquences de protéines (domaine complètement différent). Quand les domaines sont trop différents, le transfert peut en fait nuire à la performance (« transfert négatif »). Le pré-entraînement spécifique au domaine (comme BioGPT pour le texte biomédical ou CodeLlama pour le code) résout cela en pré-entraînant sur des données pertinentes au domaine.