Элегантный подход Gimlet Labs к преодолению проблем с производительностью при инференсе ИИ

Адъюнкт-профессор Стэнфордского университета и успешный основатель стартапов Зайн Асгар привлек 80 миллионов долларов в рамках раунда Series A для компании, которая находит особо эффективные способы преодоления проблемы задержек при выполнении вычислений с использованием ИИ. Этот раунд возглавила компания Menlo Ventures.

Стартап Gimlet Labs утверждает, что создал первый и единственный «облачный сервис многокристальных вычислений» — программное обеспечение, позволяющее выполнять задачи ИИ одновременно на различных типах аппаратного обеспечения. Оно способно распределять задачи между традиционными процессорами, GPU, отрегулированными под работу с ИИ, и системами с большим объемом памяти.

«По сути, мы используем любое доступное аппаратное обеспечение», — рассказал Асгар изданию TechCrunch.

«Один агент может выполнять несколько последовательных шагов, каждый из которых требует разного типа оборудования: выполнение вычислений связано с производительностью процессора, декодирование — с объемом памяти, а вызовы инструментов — с работой сети», — пишет главный инвестор компании Menlo Тим Талли в своей статье о финансировании.

Пока еще нет чипа, который бы справлялся со всем этим самостоятельно, но по мере появления нового оборудования и повторного использования устаревших GPU «флот многокристальных систем уже готов — ему лишь не хватает программного слоя для функционирования». Именно это, по мнению Талли, предлагает Gimlet Labs.

Если текущая тенденция к увеличению объема вычислений сохранится, по оценкам McKinsey, расходы на центры обработки данных к 2030 году могут достичь почти 7 триллионов долларов. Асгар утверждает, что сегодняшние приложения используют имеющееся оборудование лишь «от 15 до 30 процентов» времени.

«Еще один способ взглянуть на это: вы тратите сотни миллиардов долларов из-за того, что просто оставляете ресурсы без дела», — сказал он. «Наша цель заключалась в том, чтобы найти способ сделать так, чтобы задачи ИИ выполнялись в 10 раз эффективнее, чем сейчас».

Поэтому он и его сооснователи — Мишель Нгуен, Омид Азизи и Натали Серрино — начали разрабатывать программное обеспечение для организации работы, которое позволяет разбивать задачи на части и выполнять их одновременно на любом типе аппаратного обеспечения.

Gimlet Labs утверждает, что способен стабильно ускорять процесс выполнения вычислений с использованием ИИ в 3–10 раз при тех же затратах на энергию. Компания также говорит, что может разбивать базовую модель на части, чтобы она работала на разных архитектурах, используя для каждой части оптимальный чип.

Компания уже сотрудничает с производителями чипов NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.

Продукт Gimlet — представленный в виде программного обеспечения или через API в собственном облаке Gimlet Cloud — предназначен не для обычных разработчиков приложений на основе ИИ. Он ориентирован на крупнейшие лаборатории по созданию моделей ИИ и центры обработки данных.

Компания провела публичный запуск в октябре, сообщив о доходах в восьмизначных цифрах сразу после старта (не менее 10 миллионов долларов). Асгар отметил, что за последние четыре месяца количество его клиентов удвоилось, и среди них теперь есть крупный производитель моделей ИИ и очень крупная компания в области облачных вычислений, хотя он отказался назвать их.

Сооснователи ранее работали вместе в стартапе Pixie, который создавал инструмент для мониторинга Kubernetes с открытым исходным кодом. Pixie был приобретен компанией New Relic в 2020 году всего через два месяца после старта, когда в рамках раунда Series A на сумму 9 миллионов долларов, возглавляемого Benchmark, было привлечено финансирование. (Технология Pixie теперь является частью организации с открытым исходным кодом, занимающейся развитием Kubernetes.)

После того как примерно год назад Асгар случайно встретил Талли, а также получил инвестиции от профессоров Стэнфордского университета и ангельских инвесторов, к нему начали обращаться венчурные капиталисты. После запуска на стол Асгара попала документация с условиями инвестиций. Когда инвесторы узнали, что Асгар рассматривает предложения, «к нам поступило очень много заявок на финансирование», и раунд быстро оказался переполненным, — рассказал он.

Благодаря предыдущим инвестициям стартап уже привлек в общей сложности 92 миллиона долларов, в том числе от таких ангельских инвесторов, как Билл Кофран из Sequoia, профессор Стэнфорда Ник МакКьюон, бывший генеральный директор VMware Рагху Рагхурам и генеральный директор Intel Лип-Бу Тан. В настоящее время в компании работает 30 человек.

Среди других инвесторов — Factory (которая возглавляла первый раунд финансирования), Eclipse Ventures, Prosperity7 и Intel Capital.