Transformer
Por qué importa
En profundidad
Un bloque Transformer tiene dos componentes principales apilados: una capa de multi-head self-attention y una red feedforward (FFN), cada una envuelta en normalización de capa y una conexión residual. La capa de atención maneja el enrutamiento de información — decide cuáles tokens deberían influenciar a cuáles otros tokens. La FFN maneja el procesamiento de información — transforma la representación de cada token independientemente a través de una capa oculta más amplia (típicamente 4 veces la dimensión del modelo) con una no linealidad. La mayoría de los parámetros del modelo residen en las capas FFN, y la investigación sugiere que aquí es donde se almacena el conocimiento factual, mientras que las capas de atención aprenden patrones relacionales y sintácticos. Apila de 32 a 128 de estos bloques, y obtienes un LLM moderno.
Tres variantes
El paper original de 2017 "Attention Is All You Need" describió una arquitectura encoder-decoder para traducción automática. El encoder procesa la secuencia de entrada y produce representaciones contextualizadas; el decoder genera la secuencia de salida un token a la vez, atendiendo tanto a sus propias salidas previas como a la salida del encoder mediante cross-attention. Pero el campo rápidamente divergió en tres variantes. Los modelos sólo encoder (como BERT) procesan la entrada completa bidireccionalmente y son excelentes para clasificación y recuperación. Los modelos sólo decoder (GPT, Claude, Llama, Mistral) usan enmascaramiento causal para que cada token sólo pueda atender a los tokens anteriores — esto es lo que quieres para generación de texto. Los modelos encoder-decoder (T5, BART) mantuvieron la arquitectura original y funcionan bien para traducción y resumen. La variante sólo decoder ganó la carrera de escalamiento porque es más simple de entrenar y naturalmente soporta generación autoregresiva.
Las leyes de escalamiento
Las leyes de escalamiento son lo que convirtió al Transformer de una arquitectura en una industria. El paper de Chinchilla (Hoffmann et al., 2022) mostró que el rendimiento de los modelos escala de manera predecible como una ley de potencias del cómputo, los datos y los parámetros. Esto significa que puedes pronosticar qué tan bueno será un modelo antes de entrenarlo, lo cual convirtió el desarrollo de LLMs en un problema de ingeniería con retornos de inversión relativamente predecibles. Esa predictibilidad es lo que justificó los miles de millones de dólares en clusters de GPUs. También mostró que la mayoría de los modelos de la época estaban subentrenados — dado un presupuesto fijo de cómputo, obtienes mejores resultados de un modelo más pequeño entrenado con más datos que de un modelo más grande entrenado con menos. Este hallazgo reformó toda la industria: Llama, Mistral y Gemma todos entrenan con muchos más tokens en relación a su cantidad de parámetros que los modelos anteriores.
Los Transformers modernos han divergido significativamente del paper original. Pre-norm (aplicar normalización de capa antes de attention/FFN en lugar de después) ahora es estándar porque estabiliza el entrenamiento a escala. RMSNorm reemplazó a LayerNorm por eficiencia. Los Rotary Position Embeddings (RoPE) reemplazaron las codificaciones de posición aprendidas o sinusoidales porque generalizan mejor a secuencias más largas de las que el modelo fue entrenado. La activación SwiGLU reemplazó a ReLU en la FFN para mejor rendimiento. Grouped-Query Attention (GQA) comparte cabezas key-value entre cabezas de query para reducir el KV cache. Flash Attention reestructuró el cómputo de atención para ser eficiente en memoria sin cambiar las matemáticas. Ninguno de estos cambia la arquitectura fundamental, pero juntos representan años de iteración en ingeniería que hacen práctico entrenar y servir modelos grandes.
El muro de escalamiento
La mayor limitación práctica de los Transformers es el costo cuadrático de la atención con respecto a la longitud de la secuencia. Cada token debe atender a todos los tokens anteriores, así que procesar un contexto de 128K tokens requiere órdenes de magnitud más cómputo que un contexto de 4K. Esto impulsa el costo de las llamadas de API con contexto largo, y es la razón por la que alternativas como SSMs y arquitecturas híbridas se investigan activamente. El KV cache — los pares key-value almacenados de todas los tokens anteriores que deben mantenerse en memoria durante la generación — es el otro cuello de botella principal. Para un modelo grande generando secuencias largas, el KV cache puede consumir más memoria de GPU que los propios pesos del modelo. Técnicas como paged attention (vLLM), KV caches cuantizados y decodificación especulativa son todas respuestas de ingeniería a lo que es fundamentalmente una restricción arquitectónica. El Transformer no va a desaparecer pronto, pero la próxima generación de arquitecturas será casi con certeza híbrida, manteniendo sus fortalezas mientras aborda estas limitaciones de escalamiento.