En esencia, un LLM es una funcion que toma una secuencia de tokens y produce una distribucion de probabilidad sobre el siguiente token. Ese es todo el truco. Durante el entrenamiento, el modelo ve billones de tokens de texto y ajusta sus miles de millones de parametros para mejorar su prediccion de lo que viene despues. Cuando chateas con Claude o GPT, el modelo genera un token a la vez, y cada vez retroalimenta su propia salida anterior como entrada. Este proceso autoregresivo es la razon por la que ves las respuestas aparecer palabra por palabra — el modelo genuinamente no sabe que va a decir hasta que llega a ese punto.
La mayoria de los LLMs modernos estan construidos sobre la arquitectura Transformer, introducida por investigadores de Google en 2017. La innovacion clave del Transformer es el mecanismo de atencion, que le permite al modelo observar cada otro token de la entrada al decidir que significa un token dado. Esto resuelve un problema que afectaba a arquitecturas anteriores (RNNs, LSTMs): les costaba manejar dependencias de largo alcance porque la informacion tenia que fluir secuencialmente a traves de cada paso intermedio. La atencion permite que un modelo conecte directamente "eso" en el parrafo cinco con "el servidor de base de datos" en el parrafo uno, sin importar cuanto texto haya entre ambos. Algunas arquitecturas mas nuevas como Mamba usan modelos de espacio de estados en lugar de atencion, sacrificando algo de flexibilidad a cambio de mucha mejor eficiencia en secuencias largas, pero los Transformers siguen siendo el paradigma dominante para los modelos mas grandes.
La palabra "Grande" en LLM tiene peso real. La escala resulta importar de formas que los investigadores no anticipaban del todo. Un modelo de mil millones de parametros puede manejar gramatica basica y datos simples. Uno de 70 mil millones puede escribir codigo funcional y razonar a traves de problemas de multiples pasos. Los modelos mas grandes (cientos de miles de millones de parametros, entrenados con billones de tokens) exhiben capacidades emergentes — habilidades que aparecen de repente al escalar, en lugar de mejorar gradualmente. El razonamiento en cadena de pensamiento, la transferencia multilinguee y el aprendizaje en contexto son capacidades que solo se manifiestan de forma confiable una vez que los modelos cruzan ciertos umbrales de tamano. Este comportamiento de escalado se describe mediante "leyes de escalado" que relacionan el tamano del modelo, el tamano del dataset y el presupuesto de computo con el rendimiento de formas sorprendentemente predecibles.
Despues del pre-entrenamiento, los LLMs crudos no son particularmente utiles para conversar — solo quieren completar texto, asi que podrian continuar tu pregunta con mas preguntas en lugar de responder. Aqui es donde entra la alineacion. Tecnicas como RLHF (aprendizaje por refuerzo con retroalimentacion humana) y la IA constitucional entrenan al modelo para ser util, inofensivo y honesto en lugar de solo un predictor de texto. Esta es la diferencia entre un modelo base (como Llama crudo) y un modelo de chat (como Claude o ChatGPT). El modelo base tiene el conocimiento; la alineacion le ensena como usar ese conocimiento en una conversacion.
Un detalle practico que atrapa a muchos desarrolladores: los LLMs no "saben" cosas de la misma forma que una base de datos. Han codificado patrones estadisticos de los datos de entrenamiento, lo que significa que pueden afirmar con confianza cosas que son sutil o completamente incorrectas — alucinacion. Tambien tienen una fecha de corte de conocimiento y no pueden acceder a informacion en tiempo real a menos que se les den herramientas. Los mejores profesionales tratan a los LLMs como colaboradores muy capaces pero poco confiables: excelentes para redactar borradores, hacer lluvia de ideas y generar codigo, pero que requieren verificacion para afirmaciones factuales. La generacion aumentada por recuperacion (RAG), el parseo de salida estructurada y el uso de herramientas son los patrones de ingenieria que hacen confiables las aplicaciones basadas en LLMs en produccion.