Falcon
Por qué importa
En profundidad
Falcon es una familia de grandes modelos de lenguaje de tipo decoder-only desarrollados por el Technology Innovation Institute, un laboratorio de investigación de Abu Dabi respaldado por el gobierno de los EAU. Los primeros lanzamientos llegaron en 2023: un modelo de 7B y otro de 40B entrenados con RefinedWeb, el dataset propio del laboratorio, seguidos ese mismo año por Falcon 180B, un modelo de 180.000 millones de parámetros entrenado con unos 3,5 billones de tokens que se situó en lo más alto de la Open LLM Leaderboard de Hugging Face en el momento de su lanzamiento. Crucialmente, TII publicó los pesos bajo términos permisivos — el 40B pasó a Apache 2.0 poco después del lanzamiento — lo que convirtió a Falcon en la opción de pesos abiertos más potente durante gran parte de 2023. Las generaciones posteriores siguieron llegando: Falcon 2 en 2024, Falcon 3 más tarde ese año en tamaños de 1B a 10B, y ramas experimentales como Falcon-Mamba y la híbrida Falcon-H1 que van más allá de la receta transformer estándar.
La apuesta RefinedWeb
La mayoría de los modelos de esa época se entrenaban con mezclas cuidadosamente curadas de libros, código, artículos académicos y texto web filtrado. La apuesta de TII con Falcon fue diferente: tomar datos web en bruto de Common Crawl, aplicar deduplicación agresiva y filtrado de calidad a escala, y demostrar que el puro volumen de texto web bien limpiado puede igualar a la curación sofisticada. El resultado fue RefinedWeb, un dataset de varios billones de tokens que TII publicó abiertamente junto con los modelos. Falcon 40B se entrenó con aproximadamente un billón de tokens de ese dataset, mientras que el modelo 180B escaló a unos 3,5 billones de tokens con algunos corpus curados mezclados. Preentrenar casi por completo con datos web públicos era inusual a esa escala, y el propio RefinedWeb se convirtió en un recurso ampliamente reutilizado por otros esfuerzos de modelos abiertos mucho después de que los modelos mismos quedaran superados.
La licencia como arma competitiva
El momento hizo que la licencia de Falcon fuera tan importante como sus pesos. Cuando Falcon 40B apareció a mediados de 2023, el primer Llama de Meta era solo para investigación y la mayoría de los demás modelos potentes estaban detrás de APIs, así que un lanzamiento Apache 2.0 — adoptado poco después del lanzamiento, sustituyendo una licencia personalizada con una cláusula de regalías — convirtió a Falcon en la opción predeterminada para equipos que construían productos comerciales. Esa permisividad ayudó a forzar la conversación más amplia sobre abierto vs. cerrado: en cuestión de meses llegó Llama 2 con uso comercial permitido bajo su licencia comunitaria, y la licencia permisiva pasó de ser un diferenciador a una expectativa. Falcon 3 y los lanzamientos posteriores pasaron a una TII Falcon License que sigue siendo de estilo Apache pero añade sus propias condiciones, un recordatorio de que 'pesos abiertos' cubre un espectro de términos y de que vale la pena leer de verdad cada licencia.
El leaderboard no compró presencia
Una lectura común de la historia de Falcon es que ganó la carrera de los modelos abiertos en 2023 porque encabezó el leaderboard de Hugging Face. No fue así. La posición en los benchmarks se tradujo mal en ecosistema: Mistral y Llama capturaron a la comunidad de ajustadores finos, autores de herramientas y escritores de tutoriales, y sus modelos acumularon las builds cuantizadas, las recetas de fusión y las guías de despliegue que impulsan la adopción real. Falcon 180B en particular era más un artefacto de prestigio que uno práctico — con cientos de gigabytes de VRAM antes de la cuantización, casi nadie podía ejecutarlo, y sus costes de ajuste fino lo descartaban para la mayoría de los equipos. La lección se generaliza: en los modelos abiertos, la distribución, el ajuste al hardware y las herramientas se acumulan, mientras que los puntos de leaderboard decaen rápido.
Más allá del transformer denso
Los lanzamientos posteriores de Falcon muestran a TII tratando la familia como un programa de investigación en arquitecturas más que como una única línea de producto. Falcon 2 llegó en 2024 como un modelo de 11B con un hermano visión-lenguaje capaz de procesar imágenes, y Falcon 3 le siguió ese mismo año, apuntando al extremo práctico del mercado con tamaños de 1B, 3B, 7B y 10B y entrenamiento multilingüe. Los movimientos más interesantes son las ramas laterales: Falcon-Mamba 7B sustituyó por completo la atención por una arquitectura de espacio de estados Mamba, dando inferencia de memoria constante sobre secuencias largas, y la serie Falcon-H1 le siguió en 2025 con diseños híbridos que mezclan capas de atención y capas de espacio de estados dentro de un mismo modelo. Estos experimentos han mantenido a TII visible en la conversación sobre arquitecturas incluso mientras la línea principal de Falcon compite contra ecosistemas de pesos abiertos mucho más grandes.