NVIDIA повышает скорость инференса на Jetson Orin Nano 2 для периферийной робототехники

Jetson Orin Nano 2 потребляет меньше энергии при том же уровне производительности, что и его предшественник. Источник: NVIDIA

По мере повышения эффективности моделей искусственного интеллекта всё больше устройств могут стать автономными, однако разработчикам требуются компактные и энергоэффективные компьютеры, созданные специально для периферийного ИИ, утверждает NVIDIA Corp. Сегодня компания представила NVIDIA Jetson Orin Nano 2 — новый компьютер начального уровня для периферийного ИИ, который, по её словам, позволит миллионам разработчиков по всему миру создавать системы для физических приложений искусственного интеллекта.

«Современные небольшие и средние модели Frontier достигли уровня точности, который в прошлом году был характерен для самых крупных моделей Frontier, что открывает возможности для интеллектуальных решений в режиме реального времени на периферийных устройствах», — заявил Дипу Талла (Deepu Talla), вице-президент NVIDIA по робототехнике и периферийному ИИ. «Компьютер Jetson Orin Nano 2 делает этот прорыв доступным для миллионов разработчиков, обеспечивая производительность и энергоэффективность, необходимые для вычислений в реальном времени в умных дронах, роботах и системах искусственного интеллекта на основе компьютерного зрения».

«За последние три месяца мы стали свидетелями эволюции открытых моделей, лежащих в основе физического ИИ, и увидели, насколько важную роль они теперь играют», — добавил он во время пресс-брифинга. «Год назад передовые модели насчитывали 600 миллиардов или 1 триллион параметров. Спустя год мы смогли обеспечить такой же уровень точности даже в продуктах периферийного ИИ начального уровня на базе Orin Nano 2. Это потрясающе».

NVIDIA Jetson Orin Nano 2 является частью «полнофункционального подхода с использованием трёх компьютеров», применяемого компанией в робототехнике: Omniverse с Cosmos обеспечивает моделирование для тестирования, DJX — обучение, а Jetson, как «мозг робота», — развёртывание в режиме реального времени.

Jetson Orin Nano 2 повышает точность и скорость обработки

«Jetson Orin Nano 2 обеспечивает значительный скачок в производительности ИИ и обработки видео в экономичной и энергоэффективной системе», — заявили в NVIDIA. Система обладает вычислительной мощностью ИИ в 78 триллионов операций в секунду (TOPS), 8 ГБ памяти и восьмиядерным процессором Arm.

Jetson Orin Nano 2 удваивает производительность инференса по сравнению с Jetson Orin Nano Super за счет усовершенствованных ядер Tensor и более высокой пропускной способности памяти, сохраняя при этом тот же компактный форм-фактор. В режиме 15 Вт Jetson Orin Nano 2 потребляет на 40 % меньше энергии, обеспечивая при этом ту же пиковую производительность, что и его предшественник, — сообщил Талла изданию The Robot Report.

NVIDIA отметила, что существующий открытый программный стек компании может работать на Nano 2, который построен на той же архитектуре графического процессора, что и в центрах обработки данных. Устройство разработано так, чтобы существующие клиенты Orin могли легко перейти на него.

В сочетании с навыками агентов Jetson и технологической экосистемой компании разработчики теперь могут запускать новейшие крупные языковые модели (LLM) и языковые модели для обработки изображений (VLM), оптимизированные для ресурсоэффективного вывода на периферии. К ним относятся открытые модели, такие как NVIDIA Cosmos и Nemotron, Gemma 4 и Qwen 3.

«Это внезапно открывает доступ к уровню интеллекта, который раньше был недостижим — мы мечтали об этом в сфере периферийного ИИ на протяжении десятилетия», — заявил Талла во время пресс-брифинга. «Это знаковый момент, когда теперь для всех этих робототехнических и физических приложений ИИ мы можем фактически интегрировать передовые модели ИИ, такие как LLM и VLM, в дополнение к другим автономным возможностям. Мы считаем, что это ускорит разработку и внедрение ИИ в физическом мире».

NVIDIA уже обновила линейку своих высокопроизводительных решений Jetson, включая Orin NX, Orin и T3000/T2000 для массовых приложений, а также Jetson T5000/T4000 для сложных задач.

Разработчики используют стек NVIDIA для физических приложений ИИ

NVIDIA сообщила, что более 3 миллионов разработчиков уже создают решения на базе её стека для робототехники. Такие партнёры, как Cognex, Doosan Bobcat, Matic и Wing, тестируют или используют Jetson Orin Nano 2 для реальных задач периферийного ИИ в компактных устройствах.

«Тысячи компаний выпускают продукты с ИИ на периферии начального уровня на базе Jetson, а более 10 000 компаний поставляют или разрабатывают продукты, построенные на базе Jetson», — сказал Талла.

Wing, дочерняя компания Alphabet, использует Jetson Orin Nano Super и программный стек NVIDIA в своём парке дронов-доставщиков. Компания планирует провести тестирование Jetson Orin Nano 2 с целью совершенствования функций восприятия и логического вывода ИИ в режиме реального времени, что позволит обеспечить более быструю и безопасную доставку товаров от местных предприятий прямо во дворы жилых домов.

«Доставка с помощью дронов зависит от ИИ, способного обеспечить быстрое и надежное понимание реального мира», — сказал Динука Абейвардена, руководитель отдела восприятия в Wing. «Wing изучает Jetson Orin Nano 2, чтобы открыть путь к созданию более отзывчивых и энергоэффективных дронов, которые помогут сделать доставку для клиентов быстрее и надежнее».

Компания Matic Robots использует Jetson Orin Nano 2 для обеспечения более интуитивного взаимодействия со своими роботами для уборки дома. Компания оснастила роботов ИИ для ведения диалога, функцией распознавания жестов, возможностью точного картографирования и семантического понимания домашней среды, а также более высокой степенью автономности.

«Домашние роботы должны понимать людей, точно картографировать пространства, распознавать расположение объектов и помещений, а также автономно убирать в динамичных и постоянно меняющихся условиях», — сказал Навнит Далал, соучредитель и генеральный директор Matic Robotics. «Благодаря Jetson Orin Nano 2 компания Matic может запускать передовые модели искусственного интеллекта на периферии в рамках компактной платформы для домашней робототехники, созданной для восприятия, взаимодействия и навигации в режиме реального времени».

«Проблема с роботами-компаньонами заключалась в том, что их интеллект оставлял желать лучшего, но теперь, благодаря появлению всех этих передовых технологий искусственного интеллекта, которые могут работать в режиме реального времени на Orin Nano или Orin Nano 2, мы можем создать новый класс приложений», — сказал Талла. Он также упомянул Reachy Mini от Hugging Face, в котором для распознавания речи используется небольшой LLM.

NVIDIA упомянула компании AAEON, ADLINK, Advantech, Aetina, Antmicro, Aptiv, Auvidea, AVerMedia, Chuanglebo, Connect Tech, ForeCR, JWIPC, Neurealm, Plink, Realtimes, RidgeRun, RS, Seeed Studio, Tauro Tech, Twowin, TZTek и YUAN в качестве других партнеров Jetson, разрабатывающих несущие платы, аппаратное обеспечение, специализированное программное обеспечение для ИИ и эталонные системы, чтобы помочь клиентам сократить сроки вывода продуктов на рынок.

Талла заявил, что ожидает, что технологии NVIDIA позволят обеспечить универсальную навигацию и ловкие манипуляции, а также улучшат обучение роботов, их безопасность и автономность. Компания NVIDIA сообщила, что модуль Jetson Orin Nano 2 и набор для разработчиков появятся в продаже в первой половине 2027 года.