ДомОткрытая аудиомодель Meituan устанавливает новый стандарт в области клонирования голоса
В области генерации аудио происходит кардинальный переход от многоступенчатых каскадных архитектур к сквозным моделям. Чтобы преодолеть потерю информации и накопление ошибок, присущие традиционному промежуточному представлению «Мел-спектрограмма», используемому в системах TTS, команда Meituan LongCat официально выпустила и открыла исходный код LongCat-AudioDiT (доступно в версиях с 1 млрд и 3,5 млрд параметров). Эта модель успешно превосходит предыдущие ограничения производительности в области клонирования голоса без обучения (zero-shot) за счет прямого моделирования латентного пространства сигналов.
Основная архитектура: выход за пределы мелодических спектрограмм
LongCat-AudioDiT отказывается от традиционного многоступенчатого конвейера «предсказание акустических признаков + нейронный вокодер», создавая вместо этого оптимизированную минимальную архитектуру, построенную на основе Wav-VAE (вариационного автокодера сигнальных форм) и DiT (диффузионного трансформатора).
Эффективный Wav-VAE: Используя полностью сверточную конструкцию, он сжимает сигналы частотой 24 кГц в 2000 раз до частоты кадров 11,7 Гц. Благодаря непараметрическим ветвям-ярлыкам и многоцелевому состязательному обучению он гарантирует, что восстановленный сигнал сохраняет точную временно-частотную структуру, обеспечивая при этом превосходное естественное качество прослушивания.
DiT с улучшенной семантикой: модель инновационно объединяет исходные вложения слов из текстового кодировщика UMT5 со своими скрытыми состояниями верхнего уровня. Это компенсирует фонетические детали, утраченные в семантических представлениях высокого уровня, значительно повышая разборчивость сгенерированной речи.
Оптимизация инференса: точная коррекция дрейфа голоса
Для дальнейшего повышения качества генерации команда внедрила два важных технических усовершенствования:
Механизм двойного ограничения: эта техника выявляет и исправляет постоянную проблему «несоответствия обучения и вывода» в TTS с согласованием потока. Путем принудительной перезагрузки скрытых переменных в области подсказки во время вывода она полностью решает проблемы дрейфа и нестабильности голоса говорящего.
Адаптивное управление проекцией (APG): APG заменяет традиционное управление без классификатора (CFG). Оно может точно фильтровать полезные компоненты в сигнале управления, подавляя при этом компоненты, вызывающие ухудшение качества звука, что значительно улучшает естественность речи, не вызывая спектральной «перенасыщенности».
Производительность: точность клонирования на уровне SOTA
В тестах на наборе данных Seed LongCat-AudioDiT демонстрирует доминирующую производительность:
Схожесть (SIM): модель 3.5B достигла результата 0,818 на тестовом наборе Seed-ZH и 0,797 на сложном наборе предложений Seed-Hard, превзойдя такие известные модели, как Seed-TTS, CosyVoice3.5 и MiniMax-Speech.
Точность: она входит в число лучших в отрасли по ключевым показателям, включая WER на английском языке 1,50% и CER для сложных предложений на китайском языке 6,04%.
Примечательно, что LongCat-AudioDiT достигает превосходных результатов по сравнению с многоэтапными моделями, используя только одноэтапное обучение на предварительно обработанных данных транскрипции ASR. Соответствующая научная статья, исходный код и веса модели теперь полностью открыты и доступны на GitHub и HuggingFace.
Ссылки по проекту:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Связанная статья
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
Рекомендации по связанным специальным темам
Анализ данных
Лучшие инструменты ИИ для обнаружения аномалий при мониторинге KPI в командах SaaS и электронной коммерции
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
письмо
Лучшие генераторы конспектов на базе ИИ для длинных статей, оптимизированных для SEO
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
Образование и обучение
Инструменты на базе искусственного интеллекта для выполнения домашних заданий и подготовки к экзаменам
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
Музыкальная композиция
Инструменты для создания вокальных демо на основе ИИ для авторов песен, создания хуков, написания тоpline-мелодий и проведения многоязычных черновых сессий
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
Бизнес
Лучшие инструменты для анализа конкурентов на основе искусственного интеллекта для малого бизнеса
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
Редактирование изображений
Инструменты ИИ-ретуши в Photoshop для электронной коммерции, одежды, очистки кожи и обеспечения цветового единообразия
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Комментарии (1)
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
В области генерации аудио происходит кардинальный переход от многоступенчатых каскадных архитектур к сквозным моделям. Чтобы преодолеть потерю информации и накопление ошибок, присущие традиционному промежуточному представлению «Мел-спектрограмма», используемому в системах TTS, команда Meituan LongCat официально выпустила и открыла исходный код LongCat-AudioDiT (доступно в версиях с 1 млрд и 3,5 млрд параметров). Эта модель успешно превосходит предыдущие ограничения производительности в области клонирования голоса без обучения (zero-shot) за счет прямого моделирования латентного пространства сигналов.
Основная архитектура: выход за пределы мелодических спектрограмм
LongCat-AudioDiT отказывается от традиционного многоступенчатого конвейера «предсказание акустических признаков + нейронный вокодер», создавая вместо этого оптимизированную минимальную архитектуру, построенную на основе Wav-VAE (вариационного автокодера сигнальных форм) и DiT (диффузионного трансформатора).
Эффективный Wav-VAE: Используя полностью сверточную конструкцию, он сжимает сигналы частотой 24 кГц в 2000 раз до частоты кадров 11,7 Гц. Благодаря непараметрическим ветвям-ярлыкам и многоцелевому состязательному обучению он гарантирует, что восстановленный сигнал сохраняет точную временно-частотную структуру, обеспечивая при этом превосходное естественное качество прослушивания.
DiT с улучшенной семантикой: модель инновационно объединяет исходные вложения слов из текстового кодировщика UMT5 со своими скрытыми состояниями верхнего уровня. Это компенсирует фонетические детали, утраченные в семантических представлениях высокого уровня, значительно повышая разборчивость сгенерированной речи.
Оптимизация инференса: точная коррекция дрейфа голоса
Для дальнейшего повышения качества генерации команда внедрила два важных технических усовершенствования:
Механизм двойного ограничения: эта техника выявляет и исправляет постоянную проблему «несоответствия обучения и вывода» в TTS с согласованием потока. Путем принудительной перезагрузки скрытых переменных в области подсказки во время вывода она полностью решает проблемы дрейфа и нестабильности голоса говорящего.
Адаптивное управление проекцией (APG): APG заменяет традиционное управление без классификатора (CFG). Оно может точно фильтровать полезные компоненты в сигнале управления, подавляя при этом компоненты, вызывающие ухудшение качества звука, что значительно улучшает естественность речи, не вызывая спектральной «перенасыщенности».
Производительность: точность клонирования на уровне SOTA
В тестах на наборе данных Seed LongCat-AudioDiT демонстрирует доминирующую производительность:
Схожесть (SIM): модель 3.5B достигла результата 0,818 на тестовом наборе Seed-ZH и 0,797 на сложном наборе предложений Seed-Hard, превзойдя такие известные модели, как Seed-TTS, CosyVoice3.5 и MiniMax-Speech.
Точность: она входит в число лучших в отрасли по ключевым показателям, включая WER на английском языке 1,50% и CER для сложных предложений на китайском языке 6,04%.
Примечательно, что LongCat-AudioDiT достигает превосходных результатов по сравнению с многоэтапными моделями, используя только одноэтапное обучение на предварительно обработанных данных транскрипции ASR. Соответствующая научная статья, исходный код и веса модели теперь полностью открыты и доступны на GitHub и HuggingFace.
Ссылки по проекту:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Акции США достигли исторической отметки, поскольку гиганты искусственного интеллекта и аэрокосмической отрасли готовятся к дебюту с оценкой в триллион долларов
Илон Маск, Сэм Алтман и Дарио Амодэй, три титана технологического сектора, продвигаются к первичным публичным предложениям акций своих respective компаний. Благодаря SpaceX, OpenAI и Anthropic — трем отраслевым гигантам, чья оценка приближается к три
Шведский стартап в области искусственного интеллекта Lovable Eyes достиг оценки в 13,2 миллиарда долларов после крупного раунда финансирования
По мере того как инструменты для программирования на основе искусственного интеллекта набирают популярность, шведский стартап Lovable привлек крупный раунд финансирования. Компания нацелена на привлечение $3 млрд, что потенциально может увеличить её
Google тестирует агента Remy AI для Gemini по мере смещения фокуса на управление пользователями
Согласно Business Insider, Google тестирует Remy, нового ИИ-персонального агента для Gemini. Этот инструмент предназначен для выполнения задач от имени пользователей, упрощая как профессиональные рабочие процессы, так и повседневные рутины.В настоящ
2026 г. Лучшие новейшие высокооцененные инструменты ИИ для обнаружения аномалий в мониторинге KPI для команд SaaS и электронной коммерции! XIX.AI подготовила мощную, меняющую правила игры коллекцию на основе строгих реальных тестов и еженедельно обновляемых рейтингов. Вы найдете подробные сравнительные данные по бесплатным и платным решениям, которые помогут вам определить обязательное к использованию решение, повышающее производительность и раскрывающее ваш потенциал в области ИИ. Исследуйте сейчас!
10 инструментов
xix.ai
2026 год: лучшие и самые высокооцененные генераторы конспектов на базе ИИ для длинных SEO-статей, тщательно отобранные XIX.AI. Эти мощные инструменты обеспечивают революционную помощь в быстром создании высококачественного контента, значительно повышая эффективность написания текстов. Ознакомьтесь со сравнением бесплатных и платных версий, а также с результатами реальных тестов и подробными рейтингами, которые помогут вам найти вариант, который обязательно стоит попробовать и который соответствует вашим потребностям. Изучите их прямо сейчас, чтобы раскрыть весь потенциал ИИ.
8 инструментов
xix.ai
2026: лучшие современные инструменты на базе ИИ для выполнения домашних заданий и подготовки к экзаменам! XIX.AI подготовило рейтинг самых эффективных и революционных инструментов, которые помогают учащимся повысить продуктивность, оптимизировать выполнение домашних заданий и сдавать экзамены на «отлично», проходя проверку в реальных условиях. Получите сравнение бесплатных и платных версий, подробные рейтинги и варианты, которые обязательно стоит попробовать, чтобы раскрыть свой потенциал с помощью ИИ. Узнайте больше прямо сейчас!
10 инструментов
xix.ai
2026 г. лучшие инструменты для демо-записи вокала на базе ИИ для авторов песен, создателей хуков и команд, работающих с контентом на нескольких языках! XIX.AI подготовил список высокооцененных мощных инструментов, изменивших правила игры, прошедших строгие реальные тесты. Вы найдёте подробные данные сравнения бесплатных и платных версий, комплексные рейтинги и обязательные к использованию варианты, которые помогут повысить эффективность написания и раскрыть ваш творческий потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для всех ваших задач по созданию контента!
9 инструментов
xix.ai
2026: новейшие, лучшие и самые высокооцененные инструменты для анализа конкурентов на базе ИИ для малого бизнеса! XIX.AI подготовила чрезвычайно мощную подборку, способную кардинально изменить ситуацию на рынке, которая еженедельно обновляется на основе тщательных тестов в реальных условиях и подробных рейтингов. Вы найдете здесь исчерпывающее сравнение бесплатных и платных версий, которое поможет вам определить инструменты, которые обязательно стоит попробовать, чтобы повысить свою продуктивность и получить конкурентное преимущество. Ознакомьтесь с ней прямо сейчас, чтобы найти идеальный инструмент для себя!
9 инструментов
xix.ai
2026 Latest Best Photoshop AI retouch tools for ecommerce apparel, skin cleanup, and color consistency! This top-rated curated list features powerful game-changing solutions that help you boost writing efficiency, streamline content creation, and achieve perfect visual results effortlessly. Each tool has undergone real-world tests through weekly updated rankings, complete with free vs paid comparison details. Backed by XIX.AI, it’s the must-try guide for anyone aiming to unlock your AI edge. Explore now!
10 инструментов
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
