La lección amarga
Por qué importa
El ensayo es probablemente el texto informal más citado de la IA moderna, y ha moldeado la forma de pensar de los grandes laboratorios. La apuesta detrás de los grandes modelos de lenguaje es la lección amarga en acción: tomar una arquitectura simple y general, darle cantidades enormes de datos y de cómputo, y no programar a mano reglas lingüísticas. Cuando alguien dice que una idea está o no está «bitter-lesson-pilled», se está preguntando si la próxima ronda de escala la va a barrer.
Para quien construye productos, trae una advertencia práctica: los apaños ingeniosos para las debilidades actuales de un modelo suelen quedar obsoletos cuando llega el siguiente modelo.
En profundidad
«The Bitter Lesson» es un ensayo breve publicado en marzo de 2019 por Rich Sutton, uno de los fundadores del aprendizaje por refuerzo y más tarde ganador del Premio Turing. Al repasar 70 años de investigación en IA, vio repetirse la misma historia. Los investigadores intentan incorporar a un sistema su propia comprensión de un problema: la estrategia del ajedrez, las reglas de la gramática, cómo detectar bordes en una imagen. Eso ayuda al principio. Luego, un método más simple y más general que solo usa más cómputo, mediante búsqueda y aprendizaje, lo supera y sigue mejorando.
La lección es amarga porque significa que el conocimiento del que los investigadores están más orgullosos tiende a no importar a largo plazo.
Los ejemplos de Sutton
- Ajedrez: Deep Blue venció a Garry Kasparov en 1997 sobre todo mediante búsqueda masiva, para consternación de los investigadores que habían intentado codificar la comprensión humana del ajedrez.
- Go: los enfoques hechos a mano se estancaron durante décadas. AlphaGo combinó búsqueda con aprendizaje, y después AlphaZero prescindió por completo de los datos de partidas humanas y se volvió más fuerte.
- Reconocimiento de voz: los sistemas basados en el conocimiento de los lingüistas sobre los fonemas perdieron frente a los métodos estadísticos, y luego frente al aprendizaje profundo.
- Visión por computadora: los detectores de características diseñados a mano fueron reemplazados por redes convolucionales que aprendían sus propias características.
Lo que no dice
A menudo se reduce el ensayo a «solo añade cómputo». La afirmación real de Sutton es más acotada: favorecer los métodos que pueden usar más cómputo a medida que está disponible. La estructura sigue importando. El transformer es en sí un diseño humano, pero uno general que escala bien. Los datos tampoco son gratis: el aprendizaje necesita algo de lo que aprender, y en muchos problemas reunir los datos adecuados es la parte difícil.
Aplicarla al construir con LLM
Las cadenas de prompts elaboradas, los parsers escritos a mano para arreglar la salida del modelo y los pipelines rígidos de varios pasos a menudo acaban reemplazados por una sola llamada a un modelo mejor. Muchos equipos que construyen agentes describen el mismo patrón: cada generación de modelos les permite borrar andamiaje. Un hábito útil es preguntarse ante cualquier apaño: «¿un modelo más potente hará esto innecesario?». Si es así, mantenlo barato y fácil de quitar, e invierte en lo que perdura: tus datos, tus evaluaciones y tus herramientas.
Las críticas y el giro del propio Sutton
Los críticos señalan que el cómputo es costoso, que la eficiencia y unos buenos supuestos previos importan cuando los datos escasean (como en robótica o en medicina), y que las mayores ganancias a menudo han venido de combinar la escala con ideas nuevas. El propio Sutton ha sostenido que los LLM actuales no siguen del todo su lección, porque aprenden de texto escrito por humanos y no de su propia experiencia del mundo. En su opinión, el enfoque verdaderamente escalable sigue siendo el de sistemas que aprenden de forma continua actuando y observando.