SambaNova fue fundada en 2017 por Rodrigo Liang, Christopher Ré y Kunle Olukotun en la Universidad de Stanford. Ré es MacArthur Fellow y una de las figuras mas influyentes en el aprendizaje automatico moderno (su trabajo posterior en modelos de espacio de estados e IA centrada en datos generaria multiples empresas), mientras que Olukotun es un pionero en arquitectura de chips que ayudo a desarrollar el concepto de procesadores multinucleo. La tesis fundacional fue directa pero ambiciosa: las GPUs de NVIDIA, aunque dominantes, no fueron disenadas especificamente para cargas de trabajo de IA. Un chip construido desde cero para IA — optimizando para los patrones de flujo de datos especificos, los requisitos de acceso a memoria y el paralelismo que las redes neuronales demandan — podria entregar un rendimiento dramaticamente mejor por vatio y por dolar. SambaNova recaudo mas de $1.1 mil millones en financiamiento de capital de riesgo, incluyendo una masiva Serie D de $676 millones en 2021, convirtiendola en una de las startups de hardware de IA mejor financiadas de la historia.
La tecnologia central de SambaNova es la Reconfigurable Dataflow Unit (RDU), mas recientemente el chip SN40L. A diferencia de las GPUs, que ejecutan instrucciones en un ciclo relativamente tradicional de busqueda-decodificacion-ejecucion adaptado para cargas de trabajo paralelas, la RDU es una arquitectura de flujo de datos — la computacion ocurre mientras los datos fluyen a traves del chip, con el patron de procesamiento reconfigurado para cada modelo en lugar de seguir un flujo de instrucciones fijo. En teoria, esto elimina muchas de las ineficiencias inherentes a ejecutar redes neuronales en hardware de proposito general. El SN40L especificamente fue disenado con una jerarquia de memoria de tres niveles que puede alojar modelos mucho mas grandes en memoria on-chip que una GPU tipica, reduciendo las costosas transferencias de memoria off-chip que son el cuello de botella de la inferencia. SambaNova ha afirmado que su arquitectura puede servir modelos como Llama 2 70B y Llama 3.1 405B a velocidades que rivalizan o superan las ofertas mas rapidas de NVIDIA, y los benchmarks independientes generalmente han respaldado estas afirmaciones para cargas de trabajo especificas.
El modelo de negocio de SambaNova ha experimentado una evolucion significativa. Inicialmente, la empresa vendia dispositivos de hardware on-premise — sistemas de rack completo con RDUs — a grandes empresas y agencias gubernamentales. Estos sistemas DataScale encontraron clientes en laboratorios nacionales, instituciones financieras y aplicaciones de defensa donde la soberania de datos y el rendimiento importaban mas que el costo. Pero el mercado de hardware empresarial resulto desafiante: ciclos de venta largos, integracion compleja y clientes que a menudo no estaban listos para desplegar IA a la escala que justificara hardware personalizado. En 2023, SambaNova giro hacia la inferencia basada en la nube, lanzando SambaNova Cloud como un servicio de API donde los desarrolladores podian acceder a modelos corriendo en RDUs sin comprar hardware. Esto los puso en competencia directa con Groq, otra startup de chips de IA que habia hecho de la "inferencia mas rapida" su sello, asi como con las ofertas de inferencia de los principales proveedores de nube.
El pivote a inferencia en la nube cristalizo el posicionamiento de SambaNova: la velocidad como principal punto de venta. Su API consistentemente entrega algunas de las tasas de tokens por segundo mas rapidas de la industria, particularmente para modelos mas grandes donde las ventajas de la jerarquia de memoria de la arquitectura RDU son mas pronunciadas. Ofrecieron acceso gratuito a modelos open-source populares como Llama y Qwen, usando la velocidad como gancho para atraer desarrolladores que luego convertirian a uso de pago. Esta estrategia reflejaba lo que Groq habia hecho con sus chips LPU, creando una carrera de dos actores en el nicho de "inferencia rapida". Para desarrolladores construyendo aplicaciones sensibles a la latencia — agentes en tiempo real, asistentes de voz, herramientas de codificacion interactivas — la diferencia de velocidad no es solo un numero bonito de benchmark sino un diferenciador genuino de producto que afecta la experiencia del usuario.
Cada startup de chips de IA enfrenta en ultima instancia el mismo desafio: el ecosistema de NVIDIA es extraordinariamente profundo, y CUDA es el estandar de facto para el desarrollo de IA. SambaNova ha mitigado esto enfocandose en inferencia en lugar de entrenamiento — las cargas de trabajo de inferencia son mas estandarizadas y menos dependientes del stack completo de software de CUDA — y soportando modelos open-source populares de forma nativa para que los desarrolladores no necesiten aprender herramientas nuevas. Pero la empresa nada contra una corriente poderosa. NVIDIA mejora continuamente su propio rendimiento de inferencia, y los proveedores de nube estan construyendo chips de inferencia personalizados (TPUs de Google, Inferentia y Trainium de Amazon, Maia de Microsoft). El camino de SambaNova hacia el exito a largo plazo probablemente requiere una ventaja de rendimiento sostenida lo suficientemente grande como para justificar el costo de cambiar de ecosistema, o una asociacion con un gran proveedor de nube que integre la inferencia con RDU en una plataforma existente. Con mas de mil millones de dolares recaudados y tecnologia real detras de las afirmaciones, SambaNova tiene una posibilidad genuina — pero la ventana para probar la tesis se esta estrechando a medida que la competencia se intensifica.