Gimlet LabsがAI推論のボトルネックを解決するために採用している洗練されたアプローチ

Stanford大学の非常勤教授であり、優れたスタートアップ起業家でもあるZain Asgarは、AI推論におけるボトルネックを極めて巧妙な方法で解決する企業向けに、8,000万ドル規模のシリーズA資金調達に成功した。このラウンドではMenlo Venturesが主導役を務めた。

同スタートアップのGimlet Labsは、世界で初かつ唯一の「マルチシリコン推論クラウド」を構築したとしている。これはAI処理ワークロードをさまざまな種類のハードウェア上で同時に実行可能にするソフトウェアであり、従来型CPU、AI向けに最適化されたGPU、大容量メモリシステムなど、異なるハードウェア間でタスクを分割処理できる。

「基本的には利用可能なあらゆる種類のハードウェア上で処理を行っている」とAsgarはTechCrunchの取材に答えている。

「1つのエージェントが複数のステップを連続して実行する場合、それぞれ異なるハードウェアが必要となる。推論処理は計算能力に依存し、デコード処理はメモリ容量に依存し、ツール呼び出しはネットワーク速度に依存するのだ」と、この資金調達に関するブログ記事で主要投資家であるMenlo VenturesのTim Tullyは記している。

現時点ではどのチップもこれらすべてをこなせないが、新しいハードウェアが登場し、古くなったGPUが再利用されるにつれて、「マルチシリコン環境は既に整っている。あとはそれを動作させるためのソフトウェア層が欠けているだけだ」とTullyは考えており、Gimlet Labsがまさにそのソフトウェア層を提供する存在だとしている。

もし現在のように計算リソースの投入が続く傾向が維持されれば、McKinseyの推計では2030年までにデータセンターへの支出は約7兆ドルに達する可能性がある。Asgarによれば、現在のアプリケーションは既存のハードウェアを「15％から30％程度」しか活用していないという。

「別の見方をすれば、未使用のリソースが放置されているため、何千億ドルもの資源が無駄になっているのだ」と彼は語る。「私たちの目標は、AI処理ワークロードの効率を今日より10倍向上させる方法を見出すことだった」。

そこで彼と共同創業者であるMichelle Nguyen、Omid Azizi、Natalie Serrinoは、エージェントベースのワークロードを分割し、あらゆる種類のハードウェア上で同時に実行できるオーケストレーションソフトウェアの開発に取り組んだ。

Gimlet Labsは、同等のコストと消費電力でAI推論の速度を3倍から10倍まで確実に向上させられると主張している。さらに、基盤となるモデルを分割し、異なるアーキテクチャ上でそれぞれ最適なチップを使用して処理を行うことも可能だとしている。

同社はすでにNVIDIA、AMD、Intel、ARM、Cerebras、d-Matrixといったチップメーカー各社と提携している。

Gimletの製品は、ソフトウェア形態または独自のGimlet Cloudを通じたAPIとして提供されており、一般のAIアプリ開発者向けではない。主なターゲットは大規模なAIモデルラボやデータセンターだ。

同社は10月に正式にサービスを開始し、当初から8桁台の売上（少なくとも1,000万ドル以上）を記録した。Asgarによると、過去4か月間で顧客数は2倍以上に増加し、現在では大手モデル開発企業や超大規模クラウドコンピューティング企業も顧客に含まれているが、具体的な名称は明かしていない。

共同創業者たちは以前、Kubernetes向けのオープンソース可観測性ツールを開発したスタートアップPixieで一緒に働いていた。Pixieは2020年にBenchmarkが主導する900万ドル規模のシリーズA資金調達の2か月後にNew Relicに買収された。（Pixieの技術は現在、Kubernetesを管理するオープンソースコミュニティの一部となっている。）

約1年前にAsgarが偶然Tullyに出会ったことや、Stanford大学の教授たちからエンジェル投資を受けたことをきっかけに、ベンチャーキャピタリストたちから連絡が舞い込むようになった。サービス開始後、Asgarの元には投資条件書が届いた。Asgarが他社からのオファーを検討していると聞くと、「かなり多くの資金提供の申し出が殺到した」と彼は語り、このラウンドはすぐに過剰な応募があった。

これまでのシードラウンドを含め、同スタートアップは現在までに合計9,200万ドルの資金を調達しており、SequoiaのBill Coughran、Stanford大学教授のNick McKeown、VMware元CEOのRaghu Raghuram、Intel CEOのLip-Bu Tanといった多くのエンジェル投資家からも資金を得ている。現在、同社には30人の従業員が在籍している。

その他の出資者には、シードラウンドを主導したFactory、Eclipse Ventures、Prosperity7、Intel Capitalなどが含まれる。