Un bloque Transformer tiene dos componentes principales apilados: una capa de multi-head self-attention y una red feedforward (FFN), cada una envuelta en normalización de capa y una conexion residual. La capa de atención maneja el enrutamiento de información — decide cuales tokens deberian influenciar a cuales otros tokens. La FFN maneja el procesamiento de información — transforma la representación de cada token independientemente a través de una capa oculta más amplia (típicamente 4 veces la dimensión del modelo) con una no linealidad. La mayoría de los parámetros del modelo residen en las capas FFN, y la investigación sugiere que aquí es donde se almacena el conocimiento factual, mientras que las capas de atención aprenden patrones relacionales y sintacticos. Apila de 32 a 128 de estos bloques, y obtienes un LLM moderno.
El paper original de 2017 "Attention Is All You Need" describio una arquitectura encoder-decoder para traducción automática. El encoder procesa la secuencia de entrada y produce representaciones contextualizadas; el decoder genera la secuencia de salida un token a la vez, atendiendo tanto a sus propias salidas previas como a la salida del encoder mediante cross-attention. Pero el campo rápidamente divergio en tres variantes. Los modelos solo encoder (como BERT) procesan la entrada completa bidireccionalmente y son excelentes para clasificación y recuperación. Los modelos solo decoder (GPT, Claude, Llama, Mistral) usan enmascaramiento causal para que cada token solo pueda atender a los tokens anteriores — esto es lo que quieres para generación de texto. Los modelos encoder-decoder (T5, BART) mantuvieron la arquitectura original y funcionan bien para traducción y resumen. La variante solo decoder gano la carrera de escalamiento porque es más simple de entrenar y naturalmente soporta generación autoregresiva.
Las leyes de escalamiento son lo que convirtio al Transformer de una arquitectura en una industria. El paper de Chinchilla (Hoffmann et al., 2022) mostro que el rendimiento de los modelos escala de manera predecible como una ley de potencias del computo, los datos y los parámetros. Esto significa que puedes pronosticar que tan bueno sera un modelo antes de entrenarlo, lo cual convirtio el desarrollo de LLMs en un problema de ingenieria con retornos de inversión relativamente predecibles. Esa predictibilidad es lo que justifico los miles de millones de dolares en clusters de GPUs. También mostro que la mayoría de los modelos de la época estaban subentrenados — dado un presupuesto fijo de computo, obtienes mejores resultados de un modelo más pequeño entrenado con más datos que de un modelo más grande entrenado con menos. Este hallazgo reformo toda la industria: Llama, Mistral y Gemma todos entrenan con muchos más tokens en relación a su cantidad de parámetros que los modelos anteriores.
Los Transformers modernos han divergido significativamente del paper original. Pre-norm (aplicar normalización de capa antes de attention/FFN en lugar de después) ahora es estandar porque estabiliza el entrenamiento a escala. RMSNorm reemplazo a LayerNorm por eficiencia. Los Rotary Position Embeddings (RoPE) reemplazaron las codificaciones de posición aprendidas o sinusoidales porque generalizan mejor a secuencias más largas de las que el modelo fue entrenado. La activación SwiGLU reemplazo a ReLU en la FFN para mejor rendimiento. Grouped-Query Attention (GQA) comparte cabezas key-value entre cabezas de query para reducir el KV cache. Flash Attention reestructuro el computo de atención para ser eficiente en memoria sin cambiar las matemáticas. Ninguno de estos cambia la arquitectura fundamental, pero juntos representan años de iteración en ingenieria que hacen práctico entrenar y servir modelos grandes.
La mayor limitación práctica de los Transformers es el costo cuadratico de la atención con respecto a la longitud de la secuencia. Cada token debe atender a todos los tokens anteriores, así que procesar un contexto de 128K tokens requiere ordenes de magnitud más computo que un contexto de 4K. Esto impulsa el costo de las llamadas de API con contexto largo, y es la razón por la que alternativas como SSMs y arquitecturas hibridas se investigan activamente. El KV cache — los pares key-value almacenados de todas los tokens anteriores que deben mantenerse en memoria durante la generación — es el otro cuello de botella principal. Para un modelo grande generando secuencias largas, el KV cache puede consumir más memoria de GPU que los propios pesos del modelo. Técnicas como paged attention (vLLM), KV caches cuantizados y decodificación especulativa son todas respuestas de ingenieria a lo que es fundamentalmente una restricción arquitectonica. El Transformer no va a desaparecer pronto, pero la próxima generación de arquitecturas sera casi con certeza hibrida, manteniendo sus fortalezas mientras aborda estas limitaciones de escalamiento.