El enfoque elegante de Gimlet Labs para resolver los cuellos de botella en la inferencia de IA

El profesor adjunto de Stanford y fundador exitoso de startups Zain Asgar ha recaudado 80 millones de dólares en la ronda Series A para una empresa que aborda el cuello de botella en la inferencia de IA de manera especialmente innovadora. Menlo Ventures lideró esta ronda de inversión.

La startup Gimlet Labs afirma haber creado la primera y única “nube de inferencia multi-silicio”: un software que permite que las tareas de IA se ejecuten simultáneamente en diferentes tipos de hardware. Puede distribuir las tareas entre CPUs tradicionales, GPUs optimizadas para IA y sistemas con gran capacidad de memoria.

“Básicamente, ejecutamos nuestras operaciones en cualquier tipo de hardware disponible”, declaró Asgar a TechCrunch.

“Un único agente puede concatenar múltiples pasos, y cada uno requiere un hardware distinto: la inferencia está limitada por el procesamiento; la decodificación, por la memoria; y las llamadas a herramientas, por la red”, escribió Tim Tully, inversor principal de Menlo Ventures, en una entrada de blog sobre la financiación.

Aún no existe un chip capaz de hacer todo esto, pero a medida que se lanzan nuevos hardware y los GPUs antiguos vuelven a utilizarse, “la flota multi-silicio ya está lista; solo le falta la capa de software para funcionar”. Eso es lo que, según Tully, ofrece Gimlet Labs.

Si continúa la tendencia actual de utilizar más recursos de procesamiento, McKinsey estima que los gastos en centros de datos podrían alcanzar casi 7 billones de dólares para el año 2030. Asgar afirma que las aplicaciones actuales utilizan el hardware existente solo “entre el 15 y el 30 por ciento” del tiempo.

“Otra forma de verlo es que se están desperdiciando cientos de miles de millones de dólares porque se dejan recursos inactivos”, dijo. “Nuestro objetivo era averiguar cómo hacer que las tareas de IA sean 10 veces más eficientes que nunca, ya mismo”.

Por eso, él y sus cofundadores —Michelle Nguyen, Omid Azizi y Natalie Serrino— se propusieron crear un software de orquestación que divida las tareas en unidades independientes para que puedan ejecutarse simultáneamente en todo tipo de hardware.

Gimlet Labs afirma acelerar la inferencia de IA entre 3 y 10 veces de manera fiable, manteniendo el mismo costo y consumo energético. La empresa sostiene incluso poder dividir el modelo subyacente para que funcione en diferentes arquitecturas, utilizando el chip más adecuado para cada parte.

La compañía ya ha establecido alianzas con fabricantes de chips como NVIDIA, AMD, Intel, ARM, Cerebras y d-Matrix.

El producto de Gimlet —disponible como software o a través de una API en su propia Gimlet Cloud— no está dirigido a los desarrolladores de aplicaciones de IA cotidianas. Está pensado para los laboratorios con modelos de IA más grandes y los centros de datos a gran escala.

La empresa se lanzó públicamente en octubre, con ingresos iniciales que, según sus propias palabras, ascendían a cifras de ocho dígitos (al menos 10 millones de dólares). Asgar indicó que su base de clientes se ha duplicado en los últimos cuatro meses e incluye ahora a un importante fabricante de modelos y a una compañía de computación en la nube de gran tamaño, aunque se negó a revelar sus nombres.

Los cofundadores trabajaron anteriormente juntos en Pixie, una startup que desarrolló una herramienta de observabilidad de código abierto para Kubernetes. Pixie fue adquirida por New Relic en 2020, apenas dos meses después de su lanzamiento, con una ronda Series A de 9 millones de dólares liderada por Benchmark. (La tecnología de Pixie forma ahora parte de la organización de código abierto que supervisa Kubernetes.)

Tras conocerse casualmente con Tully hace aproximadamente un año y recibir inversiones ángeles de profesores de Stanford, comenzaron a llegar llamadas de inversores privados. Después del lanzamiento, llegó a su mesa una hoja de términos. Cuando los inversores privados se enteraron de que Asgar estaba evaluando ofertas, “recibimos una gran cantidad de propuestas de financiación”, y la ronda se agotó rápidamente, según él.

Con la inversión inicial, la startup ya ha recaudado un total de 92 millones de dólares, incluyendo fondos de varios inversores ángeles como Bill Coughran de Sequoia, el profesor de Stanford Nick McKeown, Raghu Raghuram, exdirector ejecutivo de VMware, y Lip-Bu Tan, director ejecutivo de Intel. La empresa emplea actualmente a 30 personas.

Otros inversores incluyen Factory (que lideró la ronda inicial), Eclipse Ventures, Prosperity7 e Intel Capital.