Una plataforma de datos e IA que proporciona capacidades unificadas de analítica, ingeniería de datos y machine learning. Databricks adquirió Mosaic ML (2023) para agregar capacidades de entrenamiento de LLMs y lanzó DBRX, su propio LLM de pesos abiertos. La plataforma está construida sobre Apache Spark y proporciona infraestructura gestionada para el ciclo de vida completo de ML desde preparación de datos hasta servicio de modelos.
Por qué importa
Databricks es donde los datos empresariales se encuentran con la IA. La mayoría de las ambiciones de IA de las empresas comienzan con "necesitamos darle sentido a nuestros datos," y Databricks a menudo es la plataforma que maneja ingeniería de datos, ingeniería de features, entrenamiento de modelos y servicio en un solo lugar. Su adquisición de Mosaic ML (conocido por entrenamiento eficiente de LLMs) señaló que la plataforma de datos y la plataforma de IA están convergiendo.
En profundidad
El stack de ML de Databricks incluye: MLflow (la herramienta open-source de seguimiento de experimentos de ML más popular, creada por Databricks), Unity Catalog (gobernanza de datos y registro de modelos), la infraestructura de entrenamiento de Mosaic ML (usada para entrenar DBRX) y endpoints de servicio de modelos. La plataforma maneja el flujo de trabajo completo desde datos crudos en un lakehouse hasta un modelo desplegado, lo cual es su diferenciador clave frente a soluciones puntuales.
DBRX
DBRX es el LLM de pesos abiertos de Databricks, usando una arquitectura Mixture of Experts (132B total, 36B activos). Fue competitivo con Llama 2 70B y Mixtral 8x7B en su lanzamiento. Más que el modelo en sí, DBRX demostró la capacidad de Databricks para entrenar modelos de escala frontera internamente, validando su adquisición de Mosaic ML y posicionándolos como un laboratorio de IA creíble junto a su negocio de plataforma.
