Régression linéaire : y = w1·x1 + w2·x2 + ... + biais. Trouver les poids qui minimisent la différence entre les valeurs prédites et réelles (généralement l'erreur quadratique moyenne). C'est le modèle d'apprentissage automatique le plus simple et il est encore largement utilisé quand les relations sont à peu près linéaires. La régression logistique (malgré son nom) est en fait de la classification — elle prédit des probabilités de catégories en appliquant une fonction sigmoïde à la sortie linéaire.
Remplace la fonction linéaire par un réseau de neurones et tu peux apprendre des relations arbitrairement complexes. La couche de sortie a un seul neurone sans fonction d'activation (ou une activation linéaire), et la fonction de perte est typiquement l'erreur quadratique moyenne ou l'erreur absolue moyenne. C'est utilisé pour : prédire des prix, estimer des délais, prévoir la demande, et toute tâche où la sortie est un nombre plutôt qu'une étiquette.
Fait intéressant, les LLM peuvent effectuer de la régression par le texte : « Étant donné ces caractéristiques de maison, prédis le prix » peut être géré en interrogeant un LLM. La recherche montre que les LLM performent étonnamment bien sur des tâches de régression simples, bien qu'ils soient moins fiables que des modèles de régression dédiés pour les applications nécessitant de la précision. Là où les LLM brillent, c'est quand la régression nécessite de comprendre un contexte non structuré : « Étant donné cet avis produit, prédis la note en étoiles » combine compréhension du texte et prédiction numérique.