Gradient Boosting
Por qué importa
No todos los problemas de IA necesitan una red neuronal. Para los datos tabulares, es decir, filas y columnas como registros de clientes, transacciones, lecturas de sensores o mediciones médicas, los árboles con gradient boosting siguen siendo la opción por defecto, y con frecuencia igualan o superan al aprendizaje profundo en benchmarks y competencias. Se entrenan en segundos o minutos en una CPU, necesitan poca preparación de datos, manejan valores faltantes y columnas de tipos mixtos, y funcionan con unos pocos miles de filas.
Una parte enorme del machine learning en producción es exactamente esto: detección de fraude, scoring de crédito, predicción de abandono de clientes, previsión de demanda, ranking de anuncios. Si tienes una hoja de cálculo y una columna que quieres predecir, empieza por aquí, no por un LLM.
En profundidad
Un árbol de decisión es el modelo más legible del machine learning: un diagrama de flujo de preguntas de sí o no («¿los ingresos superan los 50.000?», «¿la cuenta tiene más de dos años?») que termina en una predicción. Un solo árbol es débil y se sobreajusta con facilidad. El truco está en combinar muchos.
El gradient boosting construye los árboles uno tras otro. El primer árbol hace una predicción aproximada. El segundo se entrena con los errores del primero, el tercero con lo que sigue estando mal, y así durante cientos o miles de rondas. Cada árbol es pequeño, pero su suma es muy precisa. Jerome Friedman formalizó el método hacia 2001, y bibliotecas como XGBoost (2014), LightGBM (2016) y CatBoost (2017) lo hicieron rápido y fácil de usar.
Dos formas de combinar árboles
- Random forests (bagging): entrenar muchos árboles profundos de forma independiente, cada uno con una muestra aleatoria de los datos y de las variables, y promediarlos. El promedio cancela el ruido de los árboles individuales. Robusto y difícil de hacer mal.
- Gradient boosting: entrenar árboles poco profundos en secuencia, cada uno ajustándose al gradiente de la pérdida, es decir, a la dirección en la que las predicciones actuales están más equivocadas. Suele ser más preciso que un random forest, pero más sensible a la configuración.
Los ajustes que importan
- Número de árboles y tasa de aprendizaje: la contribución de cada árbol se reduce según la tasa de aprendizaje. Una tasa más baja con más árboles suele generalizar mejor. Usa parada temprana sobre un conjunto de validación para elegir la cantidad.
- Profundidad del árbol o número de hojas: controla la complejidad de cada árbol. Lo habitual son árboles poco profundos (profundidad de 3 a 8).
- Submuestreo: usar una fracción aleatoria de filas y columnas por árbol añade regularización.
Por qué los árboles ganan aquí a las redes neuronales
Las columnas de una tabla tienen significados y escalas muy distintos, los patrones importantes suelen ser umbrales bruscos y muchas columnas son irrelevantes. Los árboles manejan las tres cosas de forma natural. Las redes neuronales prefieren patrones suaves y entradas grandes y homogéneas, como píxeles o tokens. Enfoques más nuevos, como el modelo de fundamento TabPFN para tablas pequeñas, están cerrando la brecha en algunos casos, pero los árboles con boosting siguen siendo la referencia a batir.
Ver por dentro
Los árboles ofrecen una interpretabilidad útil: puntuaciones de importancia de las variables y valores SHAP exactos que explican cuánto empujó cada columna una predicción concreta hacia arriba o hacia abajo. Eso importa en usos regulados como la concesión de préstamos.
Dónde encajan los LLM
Los LLM y los árboles con boosting se complementan. Un patrón habitual es usar un LLM o un modelo de embeddings para convertir texto desordenado en variables (una categoría, una puntuación de sentimiento, un embedding) y pasárselas a un modelo con boosting junto con las columnas numéricas.