Upstage a été fondée en 2020 par Sung Kim, ancien chercheur chez Kakao Brain qui s'était d'abord fait connaître en enseignant l'un des cours d'apprentissage automatique les plus populaires en Corée (et plus tard dans le monde entier via YouTube). Les cofondateurs de Kim incluaient Lucy Park et d'autres vétérans de la communauté coréenne du traitement du langage naturel. L'entreprise a commencé en se concentrant sur la compréhension de documents — un recoin résolument peu glamour de l'IA qui s'avérait avoir une demande commerciale énorme. Alors que les laboratoires occidentaux d'IA poursuivaient les chatbots et les générateurs d'images, Upstage construisait une technologie pour lire, analyser et extraire de l'information structurée à partir de documents réels désordonnés : factures, contrats, formulaires manuscrits, PDF numérisés avec des langues mélangées. Cette orientation pragmatique leur a donné des revenus précoces et une réputation dans l'entreprise en Corée avant que la vague des grands modèles de langage ne rende chaque entreprise d'IA célèbre.
Le moment de percée d'Upstage est venu avec Solar 10.7B, publié fin 2023. À une époque où le discours de l'industrie était « plus gros est mieux » et que les laboratoires couraient pour entraîner des modèles de 70 milliards, 180 milliards et mille milliards de paramètres, Solar 10.7B est arrivé en tête du classement Open LLM de Hugging Face — battant des modèles plusieurs fois plus gros. Le secret était une technique qu'Upstage a appelée Depth Up-Scaling (DUS), qui consistait à prendre un modèle de base pré-entraîné et à le mettre à l'échelle soigneusement en dupliquant et en affinant des couches intermédiaires, plutôt que d'entraîner un modèle plus grand de zéro. Ce n'était pas qu'une astuce de banc d'essai ; le modèle performait véritablement bien sur des tâches réelles, et sa taille modeste signifiait qu'il pouvait tourner sur un seul GPU, le rendant pratique pour le déploiement d'une manière dont les modèles de plus de 70 milliards de paramètres ne l'étaient tout simplement pas. Solar est devenu un point de référence dans l'école émergente « petit mais puissant » du développement de grands modèles de langage, aux côtés du 7B de Mistral et de la série Phi de Microsoft.
Alors que Solar a fait les manchettes, la pile Document AI d'Upstage a sans doute été plus importante pour le chiffre d'affaires de l'entreprise. Leurs outils de reconnaissance optique de caractères, d'analyse de mise en page et d'analyse de documents gèrent le type de traitement de documents désordonné, multiformats et multilingue auquel les entreprises font face quotidiennement — et avec lequel les grands modèles de langage polyvalents ont encore du mal. Upstage a construit des modèles spécialisés pour l'extraction de tableaux, l'identification de paires clé-valeur et la reconnaissance d'écriture manuscrite, ciblant des industries comme la finance, le juridique, la santé et le gouvernement. En Corée, où les flux de travail à forte composante documentaire sont courants et les exigences réglementaires demandent une grande précision, c'était un choix naturel. L'entreprise s'est développée à l'international par des partenariats et l'accès API, positionnant Document AI comme un complément à leurs modèles de langage plutôt que comme une gamme de produits séparée. L'argument était convaincant : utilisez Solar pour le raisonnement et la génération, utilisez Document AI pour ingérer l'information du monde réel qui alimente ces modèles.
Upstage évolue dans un paysage coréen de l'IA dominé par les grands conglomérats — Samsung, Naver, Kakao et LG — qui ont tous leurs propres laboratoires d'IA et des ressources significatives. Ce qu'Upstage a et que les géants n'ont pas, c'est la concentration et la vitesse. Alors que Samsung SDS construit l'IA comme une fonctionnalité parmi des milliers, et que Naver l'intègre dans un empire existant de recherche et de commerce, Upstage peut itérer sur les modèles et livrer des produits avec l'agilité d'une entreprise en démarrage. L'entreprise a levé un financement significatif incluant une ronde majeure menée par SoftBank, ce qui lui a donné les ressources pour rivaliser en capacité de calcul tout en maintenant son indépendance. Le gouvernement coréen a également soutenu le développement de l'IA nationale, bien que l'environnement réglementaire reste plus prudent que l'approche chinoise « construire d'abord, réglementer ensuite ».
Le défi pour Upstage est familier à tout défenseur des petits modèles : à mesure que les modèles frontière deviennent moins chers à faire tourner et que les prix des API continuent de baisser, l'avantage pratique d'un modèle plus petit se réduit. Si vous pouvez obtenir une intelligence de classe GPT-4 pour des fractions de cent par jeton, l'argument commercial pour faire tourner un modèle de 10 milliards de paramètres sur votre propre matériel devient plus difficile à défendre. Upstage a répondu en continuant à publier des modèles Solar améliorés, en s'étendant vers les capacités multilingues et multimodales, et en approfondissant leur avantage concurrentiel en Document AI. Ils ont également poussé vers le marché des plateformes API, offrant aux développeurs un accès à leur pile complète via une interface unifiée. Qu'Upstage devienne la réponse coréenne à Mistral — un laboratoire plus petit et concentré qui surpasse indéfiniment sa catégorie — ou soit absorbé dans un écosystème plus grand reste une question ouverte, mais leur bilan d'innovation efficiente en fait l'une des entreprises d'IA les plus intéressantes hors de l'axe États-Unis-Chine.