Дом
Представлена Cosmos3 — первая мультимодальная физическая модель искусственного интеллекта с полностью открытым исходным кодом; NVIDIA стала соучредителем альянса Cosmos Alliance
В области физического искусственного интеллекта достигнут значительный прогресс. 1 июня компания NVIDIA официально представила Cosmos3 — базовую крупномасштабную модель с открытым миром для физического ИИ. Являясь первой в мире полностью открытой и мультимодальной крупной моделью физического ИИ, она использует инновационную гибридную архитектуру Transformer, которая объединяет визуальное мышление, генерацию мира и прогнозирование действий в единую систему. Это может значительно сократить цикл обучения и оценки физического ИИ с нескольких месяцев до всего нескольких дней.
Cosmos3 предлагает новое решение для давней отраслевой проблемы «трудности обобщения в реальных сценариях с ограниченными данными и фрагментированными средами моделирования». Модель была обучена на огромном наборе данных физического ИИ, содержащем миллиарды текстов, изображений, видео, аудио и траекторий движения. Она может естественным образом понимать и генерировать кросс-модальный контент, достигая ведущей в отрасли точности в физическом моделировании.

С технической точки зрения Cosmos3 инновационно сочетает в себе трансформер рассуждений с генеративным трансформером. Модель сначала глубоко анализирует правила взаимодействия объектов, состояния движения и пространственно-временные отношения, а затем точно генерирует видео и предсказывает траектории действий. Такая конструкция обеспечивает модели глубокое мультимодальное понимание изображений и текста, способность моделировать и прогнозировать физическую среду, а также возможности разработки стратегий действий, помогающие роботам выполнять конкретные задачи. В нескольких основных тестах физического ИИ, включая Artificial Analysis, Physics-IQ и RoboLab, Cosmos3 входит в число лучших моделей с открытым исходным кодом.
Для учета различных этапов разработки NVIDIA выпустила несколько версий: Cosmos3Super, ориентированную на вторичное обучение моделей роботов и автономного вождения с экстремальной точностью, и Cosmos3Nano, способную выполнять высококачественный анализ видео и вывод действий за секунды. Обе версии теперь официально доступны. В планах выпуска также версия Cosmos3Edge, предназначенная для вывода в реальном времени на периферийных устройствах.
Наряду с запуском крупных моделей NVIDIA стала соучредителем «NVIDIA Cosmos Coalition» вместе с ведущими мировыми исследовательскими группами по моделированию и разработчиками ИИ по всему миру, включая Agile Robots, Black Forest Labs, Generalist, LTX, Runway и Skild AI. Основатель и генеральный директор NVIDIA Дженсен Хуанг заявил, что благодаря постоянным прорывам в области мультимодального вывода и моделей мира наступила эра трансформации физического ИИ. Выпуск этих передовых моделей с открытым исходным кодом поможет разработчикам по всему миру совершить технологический скачок и создать интеллектуальные системы нового поколения, способные воспринимать, рассуждать и действовать в реальном мире.
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Комментарии (0)
В области физического искусственного интеллекта достигнут значительный прогресс. 1 июня компания NVIDIA официально представила Cosmos3 — базовую крупномасштабную модель с открытым миром для физического ИИ. Являясь первой в мире полностью открытой и мультимодальной крупной моделью физического ИИ, она использует инновационную гибридную архитектуру Transformer, которая объединяет визуальное мышление, генерацию мира и прогнозирование действий в единую систему. Это может значительно сократить цикл обучения и оценки физического ИИ с нескольких месяцев до всего нескольких дней.
Cosmos3 предлагает новое решение для давней отраслевой проблемы «трудности обобщения в реальных сценариях с ограниченными данными и фрагментированными средами моделирования». Модель была обучена на огромном наборе данных физического ИИ, содержащем миллиарды текстов, изображений, видео, аудио и траекторий движения. Она может естественным образом понимать и генерировать кросс-модальный контент, достигая ведущей в отрасли точности в физическом моделировании.

С технической точки зрения Cosmos3 инновационно сочетает в себе трансформер рассуждений с генеративным трансформером. Модель сначала глубоко анализирует правила взаимодействия объектов, состояния движения и пространственно-временные отношения, а затем точно генерирует видео и предсказывает траектории действий. Такая конструкция обеспечивает модели глубокое мультимодальное понимание изображений и текста, способность моделировать и прогнозировать физическую среду, а также возможности разработки стратегий действий, помогающие роботам выполнять конкретные задачи. В нескольких основных тестах физического ИИ, включая Artificial Analysis, Physics-IQ и RoboLab, Cosmos3 входит в число лучших моделей с открытым исходным кодом.
Для учета различных этапов разработки NVIDIA выпустила несколько версий: Cosmos3Super, ориентированную на вторичное обучение моделей роботов и автономного вождения с экстремальной точностью, и Cosmos3Nano, способную выполнять высококачественный анализ видео и вывод действий за секунды. Обе версии теперь официально доступны. В планах выпуска также версия Cosmos3Edge, предназначенная для вывода в реальном времени на периферийных устройствах.
Наряду с запуском крупных моделей NVIDIA стала соучредителем «NVIDIA Cosmos Coalition» вместе с ведущими мировыми исследовательскими группами по моделированию и разработчиками ИИ по всему миру, включая Agile Robots, Black Forest Labs, Generalist, LTX, Runway и Skild AI. Основатель и генеральный директор NVIDIA Дженсен Хуанг заявил, что благодаря постоянным прорывам в области мультимодального вывода и моделей мира наступила эра трансформации физического ИИ. Выпуск этих передовых моделей с открытым исходным кодом поможет разработчикам по всему миру совершить технологический скачок и создать интеллектуальные системы нового поколения, способные воспринимать, рассуждать и действовать в реальном мире.
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её











