Linear regression: y = w1·x1 + w2·x2 + ... + bias। वे भार खोजें जो भविष्यवाणित और वास्तविक मूल्यों के बीच अंतर (आमतौर पर mean squared error) को कम करते हैं। यह सबसे सरल ML मॉडल है और अभी भी व्यापक रूप से उपयोग किया जाता है जब संबंध लगभग रैखिक हैं। Logistic regression (नाम के बावजूद) वास्तव में वर्गीकरण है — यह रैखिक आउटपुट पर sigmoid फ़ंक्शन लागू करके श्रेणियों की संभावनाओं की भविष्यवाणी करता है।
रैखिक फ़ंक्शन को न्यूरल नेटवर्क से बदलें और आप मनमाने जटिल संबंध सीख सकते हैं। आउटपुट परत में बिना एक्टिवेशन फ़ंक्शन (या रैखिक एक्टिवेशन) के एक अकेला न्यूरॉन होता है, और loss फ़ंक्शन आमतौर पर mean squared error या mean absolute error होता है। इसका उपयोग होता है: कीमतों की भविष्यवाणी, पूर्ण होने के समय का अनुमान, माँग का पूर्वानुमान, और किसी भी कार्य के लिए जहाँ आउटपुट एक लेबल के बजाय एक संख्या है।
दिलचस्प बात यह है कि LLMs टेक्स्ट के माध्यम से रिग्रेशन कर सकते हैं: "इन घर की विशेषताओं को देखते हुए, कीमत का अनुमान लगाएँ" एक LLM को प्रॉम्प्ट करके संभाला जा सकता है। शोध दर्शाता है कि LLMs सरल रिग्रेशन कार्यों पर आश्चर्यजनक रूप से अच्छा प्रदर्शन करते हैं, हालाँकि सटीकता-महत्वपूर्ण अनुप्रयोगों के लिए समर्पित रिग्रेशन मॉडलों की तुलना में कम विश्वसनीय हैं। जहाँ LLMs चमकते हैं वह तब है जब रिग्रेशन के लिए असंरचित संदर्भ समझने की आवश्यकता होती है: "इस उत्पाद समीक्षा को देखते हुए, स्टार रेटिंग की भविष्यवाणी करें" टेक्स्ट समझ को संख्यात्मक भविष्यवाणी के साथ जोड़ता है।