Falcon
Por que isso importa
Em profundidade
O Falcon é uma família de grandes modelos de linguagem somente-decoder desenvolvida pelo Technology Innovation Institute, um laboratório de pesquisa de Abu Dhabi apoiado pelo governo dos Emirados Árabes Unidos. Os primeiros lançamentos chegaram em 2023: um modelo 7B e um 40B treinados no próprio dataset RefinedWeb do laboratório, seguidos mais tarde naquele ano pelo Falcon 180B, um modelo de 180 bilhões de parâmetros treinado em cerca de 3,5 trilhões de tokens que ocupou o topo do Open LLM Leaderboard do Hugging Face no lançamento. Crucialmente, o TII publicou os pesos sob termos permissivos — o 40B migrou para Apache 2.0 logo após o lançamento — o que fez do Falcon a opção de pesos abertos genuinamente mais forte durante boa parte de 2023. As gerações seguintes continuaram chegando: Falcon 2 em 2024, Falcon 3 mais tarde no mesmo ano em tamanhos de 1B a 10B, e ramos experimentais como Falcon-Mamba e o híbrido Falcon-H1, que vão além da receita padrão de transformer.
A Aposta do RefinedWeb
A maioria dos modelos daquela época treinava em misturas cuidadosamente curadas de livros, código, artigos acadêmicos e texto web filtrado. A aposta do TII com o Falcon foi diferente: pegar dados brutos da web do Common Crawl, aplicar deduplicação agressiva e filtragem de qualidade em escala, e mostrar que o volume puro de texto web bem limpo pode igualar uma curadoria sofisticada. O resultado foi o RefinedWeb, um dataset de vários trilhões de tokens que o TII liberou publicamente junto com os modelos. O Falcon 40B foi treinado em cerca de um trilhão de tokens dele, enquanto o modelo 180B escalou isso para cerca de 3,5 trilhões de tokens com alguns corpora curados misturados. Pré-treinar quase inteiramente em dados públicos da web era incomum nessa escala, e o próprio RefinedWeb tornou-se um ativo amplamente reutilizado por outros esforços de modelos abertos muito depois de os modelos em si terem sido superados.
A Licença como Arma Competitiva
O timing tornou a licença do Falcon tão importante quanto seus pesos. Quando o Falcon 40B surgiu em meados de 2023, o primeiro Llama da Meta era apenas para pesquisa e a maioria dos outros modelos fortes estava atrás de APIs, então um lançamento Apache 2.0 — adotado logo após o lançamento, substituindo uma licença customizada com cláusula de royalties — fez do Falcon a escolha padrão para equipes construindo produtos comerciais. Essa permissividade ajudou a forçar a conversa mais ampla sobre aberto versus fechado: em poucos meses, o Llama 2 chegou permitindo uso comercial sob sua licença comunitária, e o licenciamento permissivo virou uma expectativa, em vez de um diferencial. O Falcon 3 e lançamentos posteriores migraram para uma TII Falcon License que permanece no estilo Apache, mas adiciona suas próprias condições — um lembrete de que 'pesos abertos' cobre um espectro de termos e que toda licença vale a pena ser lida de verdade.
O Leaderboard Não Comprou Mindshare
Uma leitura comum da história do Falcon é que ele venceu a corrida dos modelos abertos em 2023 porque liderou o leaderboard do Hugging Face. Não venceu. A posição em benchmarks se traduziu mal em ecossistema: Mistral AI e Llama capturaram a comunidade de quem faz ajuste fino, autores de ferramentas e escritores de tutoriais, e seus modelos acumularam as builds quantizadas, receitas de merge e guias de implantação que impulsionam a adoção real. O Falcon 180B em particular era mais um artefato de prestígio do que prático — com centenas de gigabytes de VRAM antes da quantização, quase ninguém conseguia rodá-lo, e seus custos de ajuste fino o inviabilizavam para a maioria das equipes. A lição se generaliza: em modelos abertos, distribuição, adequação ao hardware e ferramental se acumulam, enquanto pontos de leaderboard decaem rápido.
Além do Transformer Denso
Os lançamentos posteriores do Falcon mostram o TII tratando a família como um programa de pesquisa em arquitetura, e não uma única linha de produtos. O Falcon 2 chegou em 2024 como um modelo 11B com um irmão visão-linguagem capaz de processar imagens, e o Falcon 3 veio mais tarde no mesmo ano, mirando a ponta prática do mercado com tamanhos de 1B, 3B, 7B e 10B e treinamento multilíngue. Os movimentos mais interessantes são os ramos laterais: o Falcon-Mamba 7B trocou a atenção inteiramente por uma arquitetura de espaço de estados Mamba, dando inferência de memória constante sobre sequências longas, e a série Falcon-H1 veio em 2025 com designs híbridos que misturam camadas de atenção e camadas de espaço de estados dentro de um mesmo modelo. Esses experimentos mantiveram o TII visível na conversa sobre arquiteturas, mesmo com a linha principal do Falcon competindo contra ecossistemas de pesos abertos muito maiores.