一種預測連續數值而非類別的機器學習任務。「明天的氣溫會是多少？」（迴歸：預測一個數字）vs.「明天會下雨嗎？」（分類：預測一個類別）。線性迴歸擬合一條直線；神經網路迴歸可以學習輸入和輸出之間任意的非線性關係。
迴歸是兩個基本 ML 任務之一（另一個是分類），是從股價預測到房地產估值到科學建模的一切基礎。它也是理解機器學習最簡單的入門點 — 將一條線擬合到資料點是大多數人可以視覺化的，而從線性迴歸到神經網路的跨越在概念上很小。
線性迴歸：y = w1·x1 + w2·x2 + ... + bias。找到使預測值和實際值之間差異最小化的權重（通常是均方誤差）。這是最簡單的 ML 模型，在關係大致為線性時仍被廣泛使用。邏輯迴歸（儘管名字如此）實際上是分類 — 它通過對線性輸出應用 sigmoid 函數來預測類別的機率。
用神經網路替換線性函數，你可以學習任意複雜的關係。輸出層有一個沒有啟動函數（或使用線性啟動）的單一神經元，損失函數通常是均方誤差或平均絕對誤差。這用於：預測價格、估算完成時間、預測需求，以及任何輸出是數字而非標籤的任務。
有趣的是，LLM 可以通過文本執行迴歸：「根據這些房屋特徵，預測價格」可以通過提示 LLM 來處理。研究表明，LLM 在簡單迴歸任務上表現出人意料地好，儘管在精度要求很高的應用中不如專用迴歸模型可靠。LLM 的優勢在於迴歸需要理解非結構化上下文時：「根據這個產品評論，預測星級評分」結合了文本理解和數值預測。