Regresión lineal: y = w1·x1 + w2·x2 + ... + sesgo. Encontrar los pesos que minimicen la diferencia entre los valores predichos y los reales (generalmente el error cuadrático medio). Este es el modelo de ML más simple y todavía se usa ampliamente cuando las relaciones son aproximadamente lineales. La regresión logística (a pesar del nombre) es en realidad clasificación — predice probabilidades de categorías aplicando una función sigmoide a la salida lineal.
Reemplaza la función lineal con una red neuronal y puedes aprender relaciones arbitrariamente complejas. La capa de salida tiene una sola neurona sin función de activación (o una activación lineal), y la función de pérdida es típicamente el error cuadrático medio o el error absoluto medio. Esto se usa para: predecir precios, estimar tiempos de finalización, pronosticar demanda y cualquier tarea donde la salida sea un número en lugar de una etiqueta.
Curiosamente, los LLMs pueden realizar regresión a través de texto: "Dadas estas características de una casa, predice el precio" puede manejarse haciendo un prompt a un LLM. La investigación muestra que los LLMs funcionan sorprendentemente bien en tareas simples de regresión, aunque son menos confiables que los modelos de regresión dedicados para aplicaciones de precisión crítica. Donde los LLMs brillan es cuando la regresión requiere entender contexto no estructurado: "Dada esta reseña de producto, predice la calificación por estrellas" combina comprensión de texto con predicción numérica.