Французский стартап ZML представил бесплатный инструмент для ускорения вывода ИИ на нескольких чипах

Эра безоговорочного доминирования Nvidia на рынке, возможно, подходит к концу, однако конкуренты и альтернативы появляются со всех сторон.

ZML, известная французская стартап-компания в сфере искусственного интеллекта, поддерживаемая лауреатом премии Тьюринга Яном Лекуном, представила программное обеспечение для вывода моделей, позволяющее различным открытым большим языковым моделям работать на разном оборудовании, включая решения Nvidia, AMD, Google TPUs, Apple Metal и Intel Arc.

С помощью ZML/LLMD, своего недавно запущенного сервера вывода больших языковых моделей, компания стремится устранить существующие изолированные экосистемы и максимизировать скорость работы различных чипов для приложений искусственного интеллекта, часто соответствующую или превосходящую текущие эталонные показатели, по словам основателя ZML Стева Морена.

По мере того как искусственный интеллект всё глубже интегрируется в профессиональную и повседневную жизнь, оптимизация вывода (обработки пользовательских запросов) становится всё более критически важной, однако этот процесс остаётся фрагментированным из-за программного и архитектурного барьеров, которые часто приводят к привязке к конкретному поставщику, отметил Морен.

Хотя обеспечение пиковой производительности на нескольких типах чипов является значительным техническим достижением, это также создаёт потенциальное нарушение рынка на фоне растущих опасений по поводу роста затрат на искусственный интеллект.

ZML намерена предоставить предприятиям и облачным провайдерам гибкость использования смешанного набора чипов, что потенциально может снизить затраты и потребление энергии. «Наша цель — дать пользователям возможность создавать собственные системы и достигать ощутимого повышения эффективности, облегчая более широкое внедрение искусственного интеллекта», — пояснил Морен.

Эта программная поддержка может принести пользу развивающимся производителям чипов для искусственного интеллекта, особенно тем, которые базируются в Европе, указал Морен, перечислив такие компании, как Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. Однако он подчёркивает, что способность ZML сотрудничать для создания беспрецедентных инноваций важнее географического происхождения.

Морен не относится к Nvidia негативно, в значительной степени благодаря её устоявшейся цепочке поставок. Он сообщил TechCrunch, что ZML поддерживает прочные отношения с гигантом аппаратного обеспечения для искусственного интеллекта, который активно готовится к растущему спросу на возможности вывода моделей.

Вывод моделей привлёк масштабные инвестиции, вызвав то, что некоторые называют «золотой лихорадкой вывода». В результате ZML сталкивается с конкуренцией со стороны таких игроков, как Baseten, недавно оценённая в 13 миллиардов долларов; Inferact, выделенная из создателей vLLM; и RadixArk, коммерческая структура, стоящая за SGLang.

Хотя vLLM и SGLang предлагают частичное пересечение с LLMD, Морен видит за ZML более широкий охват. «Мы достигли стадии, когда мы совместно проектируем кремний», — заявил он. Он также поблагодарил скромную команду ZML из 20 сотрудников за быстрый темп развития парижского стартапа, при этом планируется выпуск дополнительных обновлений.

Эта небольшая команда также хорошо обеспечена капиталом. Используя свой опыт работы в качестве вице-президента по инженерии в Zenly, который Snapchat приобрёл за девятизначную сумму в 2017 году, Морен привлёк 20 миллионов долларов от инвесторов, включая 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe и Puzzle Ventures.

В отличие от первоначальной открытой системы вывода ZML, выпущенной в 2024 году и обновлённой в марте, ZML/LLMD не является открытым программным обеспечением. Однако она запускается как бесплатный инструмент для сбора данных об использовании. «Я предпочитаю измерять влияние и генерировать доход там, где это наиболее важно, избегая ненужных препятствий для роста, вызванных преждевременной монетизацией», — сказал Морен.

Пока неясно, когда ZML/LLMD может перейти к платной модели или насколько широко она будет принята. Тем не менее, список инвесторов стартапа сигнализирует о сильном интересе со стороны лидеров отрасли, включая основателя Docker Соломона Хайкеса, Клемана Даланга и Джульена Шомена из Hugging Face, а также Лекуна, теперь работающего в AMI Labs. Это укрепляет аргумент о том, что европейские стартапы в сфере искусственного интеллекта могут процветать на местном уровне. «Я не мог бы создать ZML ни в одном другом месте, кроме Парижа», — заключил Морен.