Дом
Фреймворк LGTM от Apple устраняет проблемы с вычислительной мощностью и обеспечивает 3D-рендеринг в разрешении 4K на Vision Pro
Недавно исследователи из компании Apple и Гонконгского университета опубликовали статью под названием «Меньше гауссовых распределений, больше текстур: 4K Feedforward Texture Splatting», в которой представили новую технологическую платформу под названием LGTM. Эта технология устраняет вычислительные узкие места, возникающие при применении 3D-гауссового сплэттинга при высоких разрешениях, прокладывая путь для дисплеев с высоким разрешением, таких как Apple Vision Pro.
Технический прорыв: развязка геометрии и разрешения
Хотя широко распространённый метод прямого 3D-гауссового сплэттинга позволяет быстро преобразовывать 2D-изображения в 3D-сцены, вычислительные затраты растут экспоненциально с увеличением разрешения рендеринга, что затрудняет рендеринг в реальном времени с разрешением 4K.
Основная инновацияфреймворка LGTM заключается в отделении геометрической сложности от разрешения рендеринга. Вместо увеличения количества гауссовых функций он улучшает качество изображения с помощью двухэтапного подхода:
Обучение геометрии: сначала модель обучается базовой структуре сцены на изображениях с низким разрешением и сравнивает её с эталонными данными высокого разрешения, обеспечивая плавность и отсутствие дефектов геометрического каркаса при разрешениях 2K/4K.
Наложение текстур: специализированная сеть внешнего вида преобразует мелкие детали с изображений высокого разрешения в текстуры, которые затем накладываются на простые геометрические фигуры.

Расширение возможностей Apple Vision Pro
Двойной дисплей Apple Vision Pro имеет около 23 миллионов пикселей, причем разрешение для каждого глаза превышает 4K. Традиционные прямопроходные модели SPLAT часто сталкиваются с ограничениями производительности при обработке пикселей такой высокой плотности. LGTM позволяет модернизировать существующие системы (такие как NoPoSplat, DepthSplat и т. д.), давая устройствам возможность генерировать более детализированные текстуры, более четкий текст и более реалистичные иммерсивные среды при сохранении низкой вычислительной нагрузки.
На странице демонстрации проекта видно, что LGTM значительно расширяет визуальные границы прямого 3D-восстановления. Это позволяет предположить, что будущие пользователи visionOS смогут насладиться беспрецедентным реализмом в виртуальных пространствах, генерируемых в режиме реального времени.
Связанная статья
Маск признал, что утечка кода Grok привела к раскрытию пользовательских данных, и пообещал стереть всю историческую информацию.
Илон Маск напрямую отреагировал на скандал с конфиденциальностью вокруг Grok Build, начав с простого «Да», чтобы подтвердить достоверность инцидента. Он пообещал, что все данные пользователей, ранее загруженные в SpaceXAI, будут безвозвратно удалены,
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Рекомендации по связанным специальным темам
Комментарии (1)
Finally, someone addressed the compute anxiety on Vision Pro! 🤯 LGTM sounds like a game-changer for 3D rendering. I've been waiting for something that doesn't make my device melt during heavy tasks. If this actually delivers 4K-grade results without the lag, Apple might finally win the spatial computing race. Can't wait to test it out! 🚀
Недавно исследователи из компании Apple и Гонконгского университета опубликовали статью под названием «Меньше гауссовых распределений, больше текстур: 4K Feedforward Texture Splatting», в которой представили новую технологическую платформу под названием LGTM. Эта технология устраняет вычислительные узкие места, возникающие при применении 3D-гауссового сплэттинга при высоких разрешениях, прокладывая путь для дисплеев с высоким разрешением, таких как Apple Vision Pro.
Технический прорыв: развязка геометрии и разрешения
Хотя широко распространённый метод прямого 3D-гауссового сплэттинга позволяет быстро преобразовывать 2D-изображения в 3D-сцены, вычислительные затраты растут экспоненциально с увеличением разрешения рендеринга, что затрудняет рендеринг в реальном времени с разрешением 4K.
Основная инновация
Обучение геометрии: сначала модель обучается базовой структуре сцены на изображениях с низким разрешением и сравнивает её с эталонными данными высокого разрешения, обеспечивая плавность и отсутствие дефектов геометрического каркаса при разрешениях 2K/4K.
Наложение текстур: специализированная сеть внешнего вида преобразует мелкие детали с изображений высокого разрешения в текстуры, которые затем накладываются на простые геометрические фигуры.
Расширение возможностей Apple Vision Pro
Двойной дисплей Apple Vision Pro имеет около 23 миллионов пикселей, причем разрешение для каждого глаза превышает 4K. Традиционные прямопроходные модели
На
Маск признал, что утечка кода Grok привела к раскрытию пользовательских данных, и пообещал стереть всю историческую информацию.
Илон Маск напрямую отреагировал на скандал с конфиденциальностью вокруг Grok Build, начав с простого «Да», чтобы подтвердить достоверность инцидента. Он пообещал, что все данные пользователей, ранее загруженные в SpaceXAI, будут безвозвратно удалены,
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Finally, someone addressed the compute anxiety on Vision Pro! 🤯 LGTM sounds like a game-changer for 3D rendering. I've been waiting for something that doesn't make my device melt during heavy tasks. If this actually delivers 4K-grade results without the lag, Apple might finally win the spatial computing race. Can't wait to test it out! 🚀











