Компания Memories AI разрабатывает модуль визуальной памяти для носимых устройств и робототехники

Шон Шен утверждает, что для того, чтобы ИИ действительно смог процветать в физическом мире, он должен обладать способностью запоминать то, что видит. Его компания Memories.ai использует инструменты ИИ от Nvidia для создания базовой инфраструктуры, которая позволит носимым устройствам и роботам хранить и извлекать визуальные воспоминания.

В понедельник на конференции Nvidia GTC компания Memories.ai объявила о партнерстве с лидером в области полупроводников. Это сотрудничество предоставляет Memories.ai доступ к Cosmos-Reason 2 от Nvidia — языковой модели для визуального рассуждения — и к Nvidia Metropolis, приложению для поиска и обобщения видео, что позволит компании усовершенствовать свою технологию визуальной памяти.

Шен (на фото слева) объяснил TechCrunch, что идея создания компании возникла, когда он и его соучредитель и технический директор Бен Чжоу (на фото справа) разрабатывали систему искусственного интеллекта для очков Ray-Ban от Meta. Их работа выявила ключевой вопрос: какую практическую пользу принесет такая технология, если пользователи не смогут впоследствии получить доступ к записанным видеоданным и воспроизвести их?

Не найдя существующих решений для визуальной памяти ИИ, они приняли решение покинуть Meta и создать эту технологию самостоятельно.

«ИИ уже добился замечательных успехов в цифровой сфере. Следующим рубежом станет физический мир», — заявил Шен. «Устройствам на теле и роботам на базе ИИ также нужна память... В конечном итоге мы считаем, что будущее, в котором ИИ будет обладать визуальной памятью, неизбежно».

Концепция памяти для систем ИИ — относительно новое явление. OpenAI представила функции памяти для ChatGPT в 2024 году, а в 2025 году внесла в них усовершенствования. Аналогичным образом, xAI Илона Маска и Google Gemini запустили свои собственные инструменты памяти в течение последних двух лет.

Однако Шен отмечает, что эти разработки в основном сосредоточены на текстовой памяти. Хотя текст более структурирован и проще индексируется, он менее применим к физическому ИИ — например, к робототехнике и носимым устройствам — которые в основном воспринимают мир и взаимодействуют с ним через визуальный ввод.

Основанная в 2024 году, компания Memories.ai на сегодняшний день привлекла 16 миллионов долларов финансирования. Эта сумма включает раунд начального финансирования на 8 миллионов долларов в июле 2025 года, за которым последовало дополнительное финансирование на 8 миллионов долларов. Инвестиции возглавила Susa Ventures при участии Seedcamp, Fusion Fund, Crane Venture Partners и других.

По словам Шена, создание этого уровня визуальной памяти было сопряжено с двумя основными проблемами: разработкой инфраструктуры для встраивания и индексирования видео в формат данных, пригодный для хранения и извлечения, а также сбором необходимых обучающих данных.

Компания представила свою модель большой визуальной памяти (LVMM) в июле 2025 года. Шен описывает ее как более компактный аналог недавно выпущенной Google модели Gemini Embedding 2, предназначенной для мультимодальной индексации и поиска.

Для сбора данных команда создала LUCI — специальное аппаратное устройство, которое носят «сборщики данных» для записи обучающих видео. Шен пояснил, что у них нет планов становиться производителем оборудования или продавать эти устройства. Они создали LUCI, потому что коммерческие видеорегистраторы, часто ориентированные на форматы высокой четкости, которые быстро разряжают аккумулятор, не подходили для их нужд.

С тех пор Memories.ai выпустила второе поколение своей модели LVMM и заключила партнерское соглашение с Qualcomm. Модель планируется запустить на процессорах Qualcomm в конце этого года.

Шен сообщил, что компания уже сотрудничает с несколькими крупными производителями носимых устройств, хотя он отказался назвать их. Несмотря на существующий спрос, он предвидит еще большие возможности в будущем на рынках носимых устройств и робототехники.

«С точки зрения коммерциализации, мы сосредоточены исключительно на модели и инфраструктуре, — сказал Шен. — Мы верим, что рынок носимых устройств и робототехники неизбежно появится, но его полное становление еще впереди».