En esencia, un LLM es una función que toma una secuencia de tokens y produce una distribución de probabilidad sobre el siguiente token. Ese es todo el truco. Durante el entrenamiento, el modelo ve billones de tokens de texto y ajusta sus miles de millones de parámetros para mejorar su predicción de lo que viene después. Cuando chateas con Claude o GPT, el modelo genera un token a la vez, y cada vez retroalimenta su propia salida anterior como entrada. Este proceso autoregresivo es la razón por la que ves las respuestas aparecer palabra por palabra — el modelo genuinamente no sabe que va a decir hasta que llega a ese punto.
La mayoría de los LLMs modernos están construidos sobre la arquitectura Transformer, introducida por investigadores de Google en 2017. La innovación clave del Transformer es el mecanismo de atención, que le permite al modelo observar cada otro token de la entrada al decidir que significa un token dado. Esto resuelve un problema que afectaba a arquitecturas anteriores (RNNs, LSTMs): les costaba manejar dependencias de largo alcance porque la información tenia que fluir secuencialmente a través de cada paso intermedio. La atención permite que un modelo conecte directamente "eso" en el párrafo cinco con "el servidor de base de datos" en el párrafo uno, sin importar cuanto texto haya entre ambos. Algunas arquitecturas más nuevas como Mamba usan modelos de espacio de estados en lugar de atención, sacrificando algo de flexibilidad a cambio de mucha mejor eficiencia en secuencias largas, pero los Transformers siguen siendo el paradigma dominante para los modelos más grandes.
La palabra "Grande" en LLM tiene peso real. La escala resulta importar de formas que los investigadores no anticipaban del todo. Un modelo de mil millones de parámetros puede manejar gramática básica y datos simples. Uno de 70 mil millones puede escribir código funcional y razonar a través de problemas de múltiples pasos. Los modelos más grandes (cientos de miles de millones de parámetros, entrenados con billones de tokens) exhiben capacidades emergentes — habilidades que aparecen de repente al escalar, en lugar de mejorar gradualmente. El razonamiento en cadena de pensamiento, la transferencia multilinguee y el aprendizaje en contexto son capacidades que solo se manifiestan de forma confiable una vez que los modelos cruzan ciertos umbrales de tamaño. Este comportamiento de escalado se describe mediante "leyes de escalado" que relacionan el tamaño del modelo, el tamaño del dataset y el presupuesto de computo con el rendimiento de formas sorprendentemente predecibles.
Después del pre-entrenamiento, los LLMs crudos no son particularmente útiles para conversar — solo quieren completar texto, así que podrían continuar tu pregunta con más preguntas en lugar de responder. Aquí es donde entra la alineación. Técnicas como RLHF (aprendizaje por refuerzo con retroalimentación humana) y la IA constitucional entrenan al modelo para ser útil, inofensivo y honesto en lugar de solo un predictor de texto. Esta es la diferencia entre un modelo base (como Llama crudo) y un modelo de chat (como Claude o ChatGPT). El modelo base tiene el conocimiento; la alineación le ensena como usar ese conocimiento en una conversación.
Un detalle práctico que atrapa a muchos desarrolladores: los LLMs no "saben" cosas de la misma forma que una base de datos. Han codificado patrones estadisticos de los datos de entrenamiento, lo que significa que pueden afirmar con confianza cosas que son sutil o completamente incorrectas — alucinación. También tienen una fecha de corte de conocimiento y no pueden acceder a información en tiempo real a menos que se les den herramientas. Los mejores profesionales tratan a los LLMs como colaboradores muy capaces pero poco confiables: excelentes para redactar borradores, hacer lluvia de ideas y generar código, pero que requieren verificación para afirmaciones factuales. La generación aumentada por recuperación (RAG), el parseo de salida estructurada y el uso de herramientas son los patrones de ingenieria que hacen confiables las aplicaciones basadas en LLMs en producción.