Compromiso sesgo-varianza
Por qué importa
El compromiso sesgo-varianza es el modelo mental detrás de la mayoría de las decisiones prácticas de entrenamiento: qué tamaño de modelo usar, cuánta regularización añadir, cuánto entrenar y si más datos van a ayudar. Si tu modelo tiene sesgo alto, más datos no lo arreglan, pero más capacidad sí. Si tiene varianza alta, ayudan más datos, regularización o modelos más simples.
También explica por qué funcionan los ensambles. Promediar muchos modelos de alta varianza (como hacen los bosques aleatorios) cancela buena parte de su ruido individual y conserva su bajo sesgo.
En profundidad
Todo error de predicción se puede dividir en tres partes. El sesgo es el error por supuestos equivocados: un modelo demasiado rígido para representar el patrón real, como ajustar una recta a una curva. La varianza es el error por ser demasiado sensible a los datos de entrenamiento concretos: entrena el modelo con una muestra ligeramente distinta y obtienes predicciones muy diferentes. El ruido irreducible es la aleatoriedad de los datos que ningún modelo puede eliminar.
El compromiso consiste en que, en el machine learning clásico, reducir uno tiende a aumentar el otro. Los modelos simples tienen sesgo alto y varianza baja (se subajustan). Los modelos complejos tienen sesgo bajo y varianza alta (se sobreajustan). El objetivo es el punto justo entre ambos.
Ojo: aquí «sesgo» es un término estadístico. No tiene relación con el sesgo social o ético en la IA, que la wiki trata aparte en la entrada Sesgo.
La imagen de la diana
Imagina que lanzas dardos. Sesgo bajo, varianza baja: un grupo apretado en el centro. Sesgo alto, varianza baja: un grupo apretado pero desviado hacia un lado, así que te equivocas de forma consistente. Sesgo bajo, varianza alta: centrado en promedio, pero disperso por todas partes. Sesgo alto, varianza alta: disperso y descentrado. Entrenar un modelo es como ajustar el lanzamiento, y cada decisión te mueve entre estos patrones.
Diagnóstico en la práctica
- Sesgo alto (subajuste): el error de entrenamiento es alto, y el de validación es más o menos igual.
- Varianza alta (sobreajuste): el error de entrenamiento es bajo, pero el de validación es mucho mayor.
La validación cruzada ayuda aquí: si las puntuaciones cambian mucho entre particiones, la varianza es un problema.
El deep learning tuerce la regla
Las redes neuronales modernas complicaron la historia clásica. Los investigadores encontraron el doble descenso: al seguir agrandando un modelo más allá del punto en que puede memorizar los datos de entrenamiento, el error de prueba primero empeora y luego vuelve a mejorar. Las redes muy grandes, fuertemente sobreparametrizadas, suelen generalizar bien a pesar de tener capacidad para memorizarlo todo. Parte de la explicación es la regularización implícita: entrenar con descenso de gradiente tiende a encontrar soluciones simples entre las muchas que encajan con los datos.
Por eso las leyes de escala de los LLM se ven tan distintas de la curva en U de los libros de texto. En modelos grandes entrenados con conjuntos de datos enormes y que casi nunca se repiten, más grande suele ser mejor, y el riesgo principal es el subentrenamiento (sesgo) y no el sobreajuste.
Donde el compromiso clásico sigue mandando
El compromiso de los libros sigue muy vivo cuando hay pocos datos: problemas tabulares, fine-tuning con unos cientos de ejemplos o clasificadores de nicho. En esos casos, un modelo más pequeño, una regularización fuerte o una línea base sencilla suelen ganarle a una red grande. Compara siempre contra una de ellas antes de ir a por algo más grande.