Uma plataforma de dados e IA que fornece capacidades unificadas de analytics, engenharia de dados e machine learning. Databricks adquiriu Mosaic ML (2023) para adicionar capacidades de treinamento de LLMs e lançou DBRX, seu próprio LLM de pesos abertos. A plataforma é construída sobre Apache Spark e fornece infraestrutura gerenciada para o ciclo de vida completo de ML, desde preparação de dados até serving de modelos.
Por que isso importa
Databricks é onde dados empresariais encontram IA. A maioria das ambições de IA das empresas começa com "precisamos fazer sentido dos nossos dados", e Databricks é frequentemente a plataforma que lida com engenharia de dados, engenharia de features, treinamento de modelos e serving em um só lugar. A aquisição de Mosaic ML (conhecida por treinamento eficiente de LLMs) sinalizou que a plataforma de dados e a plataforma de IA estão convergindo.
Em profundidade
A stack de ML do Databricks inclui: MLflow (a ferramenta open-source de rastreamento de experimentos de ML mais popular, criada pelo Databricks), Unity Catalog (governança de dados e registro de modelos), infraestrutura de treinamento da Mosaic ML (usada para treinar o DBRX) e endpoints de serving de modelos. A plataforma lida com o fluxo de trabalho completo desde dados brutos em um lakehouse até um modelo implantado, que é seu principal diferencial de soluções pontuais.
DBRX
DBRX é o LLM de pesos abertos do Databricks, usando uma arquitetura Mixture of Experts (132B total, 36B ativos). Foi competitivo com Llama 2 70B e Mixtral 8x7B no lançamento. Mais do que o modelo em si, DBRX demonstrou a capacidade do Databricks de treinar modelos de escala fronteira internamente, validando sua aquisição da Mosaic ML e posicionando-os como um laboratório de IA crível ao lado de seu negócio de plataforma.
