Дом
Лаборатория Tongyi компании Alibaba открыла исходный код Fun-CineForge, решив проблему дубляжа с участием нескольких дикторов
Традиционный дубляж с использованием искусственного интеллекта зачастую не справляется с задачами в таких ответственных проектах, как кино и анимация, где первостепенное значение имеет передача тонких эмоциональных пиков и идеальная синхронизация с движением губ. Чтобы решить эту ключевую проблему отрасли, Tongyi Lab официально представила и открыла исходный код революционной мультимодальной модели дубляжа киноуровня для различных сценариев — Fun-CineForge .
Преодоление аудиовизуального разрыва: четырехкомпонентная структура для безупречной синхронизации
Вместо того чтобы полагаться на базовую технологию преобразования текста в речь, Fun-CineForge разработана для овладения четырьмя критически важными аспектами профессионального дубляжа:
Синхронизация губ: обеспечивает исключительную точность совпадения синтезированной речи с движениями рта персонажа на экране.
Эмоциональная экспрессия: наполняет голос аутентичными человеческими эмоциями путем анализа мимики и контекстуальных инструкций.
Единообразие голоса: поддерживает стабильную, узнаваемую голосовую индивидуальность конкретных персонажей в сложных диалоговых сценах с участием нескольких говорящих.
Синхронизация по времени: позволяет вставлять диалоги с точностью до миллисекунд, даже если говорящий находится за кадром или частично скрыт.
Основная инновация: новаторская «временная модальность» и набор данных высокой точности
Технический прорыв Fun-CineForge обусловлен уникальной философией совместного проектирования «данные + модель»:
Набор данных высокого качества CineDub: Tongyi Lab также открыла исходный код автоматизированного конвейера построения набора данных CineDub. Используя механизм исправления ошибок по цепочке мыслей, он снижает уровень ошибок транскрипции для китайского и английского текстов примерно до 1%–2% и сокращает ошибки диаризации говорящих до 1,2%.
Архитектура слияния четырех модальностей: Модель впервые интегрирует «временную модальность», совместно моделируя визуальные входы (форма губ и мимика), текст (диалог и эмоциональный контекст) и аудио (голосовой эталон). Такое слияние позволяет обеспечить точную синхронизацию в сложных сценах, включая те, где лица не видны.
Доказанное превосходство: новаторский дубляж аутентичных диалогов с участием нескольких персонажей
Результаты тестирования показывают, что Fun-CineForge значительно превосходит базовые модели, такие как DeepDubber-V1, по ключевым показателям: коэффициенту ошибок слов (WER/CER), синхронизации губ (LSE-C/D) и сходству голосов. Знаковым достижением является уникальная способность точно обрабатывать дуэты и многосторонние диалоги, демонстрируя замечательную устойчивость в видеороликах длительностью до 30 секунд.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Быстрый
Лучшие библиотеки подсказок для ИИ в рабочих процессах ChatGPT
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
Комментарии (0)
Традиционный дубляж с использованием искусственного интеллекта зачастую не справляется с задачами в таких ответственных проектах, как кино и анимация, где первостепенное значение имеет передача тонких эмоциональных пиков и идеальная синхронизация с движением губ. Чтобы решить эту ключевую проблему отрасли, Tongyi Lab официально представила и открыла исходный код революционной мультимодальной модели дубляжа киноуровня для различных сценариев —
Преодоление аудиовизуального разрыва: четырехкомпонентная структура для безупречной синхронизации
Вместо того чтобы полагаться на базовую технологию преобразования текста в речь, Fun-CineForge разработана для овладения четырьмя критически важными аспектами профессионального дубляжа:
Синхронизация губ: обеспечивает исключительную точность совпадения синтезированной речи с движениями рта персонажа на экране.
Эмоциональная экспрессия: наполняет голос аутентичными человеческими эмоциями путем анализа мимики и контекстуальных инструкций.
Единообразие голоса: поддерживает стабильную, узнаваемую голосовую индивидуальность конкретных персонажей в сложных диалоговых сценах с участием нескольких говорящих.
Синхронизация по времени: позволяет вставлять диалоги с точностью до миллисекунд, даже если говорящий находится за кадром или частично скрыт.
Основная инновация: новаторская «временная модальность» и набор данных высокой точности
Технический прорыв Fun-CineForge обусловлен уникальной философией совместного проектирования «данные + модель»:
Набор данных высокого качества CineDub: Tongyi Lab также открыла исходный код автоматизированного конвейера построения набора данных CineDub. Используя механизм исправления ошибок по цепочке мыслей, он снижает уровень ошибок транскрипции для китайского и английского текстов примерно до 1%–2% и сокращает ошибки диаризации говорящих до 1,2%.
Архитектура слияния четырех модальностей: Модель впервые интегрирует «временную модальность», совместно моделируя визуальные входы (форма губ и мимика), текст (диалог и эмоциональный контекст) и аудио (голосовой эталон). Такое слияние позволяет обеспечить точную синхронизацию в сложных сценах, включая те, где лица не видны.
Доказанное превосходство: новаторский дубляж аутентичных диалогов с участием нескольких персонажей
Результаты тестирования показывают, что Fun-CineForge значительно превосходит базовые модели, такие как DeepDubber-V1, по ключевым показателям: коэффициенту ошибок слов (WER/CER), синхронизации губ (LSE-C/D) и сходству голосов. Знаковым достижением является уникальная способность точно обрабатывать дуэты и многосторонние диалоги, демонстрируя замечательную устойчивость в видеороликах длительностью до 30 секунд.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
2026: новейшие и лучшие библиотеки подсказок для ИИ с высоким рейтингом, предназначенные для оптимизации всех типов рабочих процессов ChatGPT. XIX.AI подготовила мощную, революционную подборку, прошедшую тщательные тесты в реальных условиях для обеспечения максимальной производительности. Вы найдёте подробные сравнения бесплатных и платных вариантов, а также рейтинги экспертов, которые помогут вам выбрать инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и раскрыть весь потенциал ИИ. Откройте для себя их прямо сейчас!
11 инструментов
xix.ai
