Lar
Modelo de áudio de código aberto da Meituan estabelece novo padrão de referência em clonagem de voz
A geração de áudio está passando por uma mudança fundamental, passando de arquiteturas em cascata de múltiplos estágios para modelos de ponta a ponta. Para superar a perda de informação e o acúmulo de erros inerentes à representação intermediária tradicional do “espectrograma Mel” usada em sistemas TTS, a equipe Meituan LongCat lançou oficialmente e disponibilizou como código aberto o LongCat-AudioDiT (disponível nas versões com 1B e 3,5B de parâmetros). Este modelo supera com sucesso os limites de desempenho anteriores na clonagem de voz zero-shot, realizando modelagem direta do espaço latente da forma de onda.
Arquitetura Central: Indo Além dos Espectrogramas Mel
O LongCat-AudioDiT descarta o pipeline convencional de múltiplos estágios de “previsão de características acústicas + vocoder neural”, estabelecendo, em vez disso, uma arquitetura minimalista e otimizada construída sobre um Wav-VAE (Autoencoder Variacional de Forma de Onda) e um DiT (Transformador de Difusão).
Wav-VAE eficiente: Utilizando um design totalmente convolucional, ele comprime formas de onda de 24 kHz em um fator de 2.000 vezes para uma taxa de quadros de 11,7 Hz. Por meio de ramificações de atalho não paramétricas e treinamento adversarial multiobjetivo, ele garante que a forma de onda reconstruída mantenha uma estrutura tempo-frequência precisa, ao mesmo tempo em que oferece excelente qualidade de audição natural.
DiT com Semântica Aprimorada: O modelo funde de forma inovadora as incorporações de palavras originais do codificador de texto UMT5 com seus estados ocultos de nível superior. Isso compensa os detalhes fonéticos perdidos em representações semânticas de alto nível, aumentando significativamente a inteligibilidade da fala gerada.
Otimização da inferência: correção precisa do desvio de voz
Para aprimorar ainda mais a qualidade da geração, a equipe implementou dois refinamentos técnicos essenciais:
Mecanismo de restrição dupla: essa técnica identifica e corrige o problema persistente de “incompatibilidade entre treinamento e inferência” no TTS com correspondência de fluxo. Ao redefinir forçosamente as variáveis latentes na área de prompt durante a inferência, ela resolve completamente os problemas de desvio e instabilidade da voz do locutor.
Orientação de projeção adaptativa (APG): A APG substitui a orientação tradicional sem classificador (CFG). Ela pode filtrar com precisão os componentes benéficos dentro do sinal de orientação enquanto suprime os componentes que causam degradação de áudio, melhorando significativamente a naturalidade da fala sem induzir “supersaturação” espectral.
Desempenho: Precisão de clonagem de nível SOTA
Em testes de benchmark no conjunto de dados Seed, o LongCat-AudioDiT demonstra desempenho dominante:
Similaridade (SIM): O modelo de 3,5 bilhões de parâmetros alcançou uma pontuação de 0,818 no conjunto de testes Seed-ZH e 0,797 no desafiador conjunto de frases Seed-Hard, superando modelos notáveis como Seed-TTS, CosyVoice3.5 e MiniMax-Speech.
Precisão: Ele está entre os melhores desempenhos do setor em métricas-chave, incluindo um WER em inglês de 1,50% e um CER em frases difíceis em chinês de 6,04%.
Notavelmente, o LongCat-AudioDiT alcança resultados superiores em comparação com modelos treinados em múltiplos estágios, utilizando apenas treinamento em um único estágio em dados de transcrição ASR pré-processados. O artigo de pesquisa associado, o código-fonte e os pesos do modelo estão agora totalmente em código aberto e disponíveis no GitHub e no HuggingFace.
Links do projeto:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Artigo relacionado
O Slackbot torna-se um Agente de IA
O Slackbot, o assistente automatizado integrado à plataforma de mensagens corporativas Slack da Salesforce, está se transformando em um agente de IA. O CTO da Salesforce, Parker Harris, prevê que ele alcance um status viral comparável ao do ChatGPT d
A ByteDance Aumenta os Incentivos de IA Principal com o Doubao Aumentando 14,6%
A ByteDance convocou recentemente uma reunião de divulgação sobre a participação acionária do DouBao para revelar novas políticas de incentivos para os funcionários envolvidos na divisão do DouBao. O preço de exercício das ações do DouBao foi elevado
MiniMax Lança Programa de Equipes 10x para Incentivar Especialistas Globais em IA
A MiniMax (Xiyu Technology), o Laboratório de Inteligência Artificial Geral, lançou oficialmente o "Equipe 10x", uma iniciativa global de colaboração de talentos. Este programa visa recrutar os melhores especialistas de diversos setores para explorar
Recomendações de tópicos especiais relacionados
Educação e Aprendizagem
Ferramentas de IA para os deveres de casa e a preparação para provas
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
Composição musical
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
Negócios
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
Edição de imagem
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Incitar
As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
Educação e Aprendizagem
Plataformas de Construção de Questionários de IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
Comentários (1)
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
A geração de áudio está passando por uma mudança fundamental, passando de arquiteturas em cascata de múltiplos estágios para modelos de ponta a ponta. Para superar a perda de informação e o acúmulo de erros inerentes à representação intermediária tradicional do “espectrograma Mel” usada em sistemas TTS, a equipe Meituan LongCat lançou oficialmente e disponibilizou como código aberto o LongCat-AudioDiT (disponível nas versões com 1B e 3,5B de parâmetros). Este modelo supera com sucesso os limites de desempenho anteriores na clonagem de voz zero-shot, realizando modelagem direta do espaço latente da forma de onda.
Arquitetura Central: Indo Além dos Espectrogramas Mel
O LongCat-AudioDiT descarta o pipeline convencional de múltiplos estágios de “previsão de características acústicas + vocoder neural”, estabelecendo, em vez disso, uma arquitetura minimalista e otimizada construída sobre um Wav-VAE (Autoencoder Variacional de Forma de Onda) e um DiT (Transformador de Difusão).
Wav-VAE eficiente: Utilizando um design totalmente convolucional, ele comprime formas de onda de 24 kHz em um fator de 2.000 vezes para uma taxa de quadros de 11,7 Hz. Por meio de ramificações de atalho não paramétricas e treinamento adversarial multiobjetivo, ele garante que a forma de onda reconstruída mantenha uma estrutura tempo-frequência precisa, ao mesmo tempo em que oferece excelente qualidade de audição natural.
DiT com Semântica Aprimorada: O modelo funde de forma inovadora as incorporações de palavras originais do codificador de texto UMT5 com seus estados ocultos de nível superior. Isso compensa os detalhes fonéticos perdidos em representações semânticas de alto nível, aumentando significativamente a inteligibilidade da fala gerada.
Otimização da inferência: correção precisa do desvio de voz
Para aprimorar ainda mais a qualidade da geração, a equipe implementou dois refinamentos técnicos essenciais:
Mecanismo de restrição dupla: essa técnica identifica e corrige o problema persistente de “incompatibilidade entre treinamento e inferência” no TTS com correspondência de fluxo. Ao redefinir forçosamente as variáveis latentes na área de prompt durante a inferência, ela resolve completamente os problemas de desvio e instabilidade da voz do locutor.
Orientação de projeção adaptativa (APG): A APG substitui a orientação tradicional sem classificador (CFG). Ela pode filtrar com precisão os componentes benéficos dentro do sinal de orientação enquanto suprime os componentes que causam degradação de áudio, melhorando significativamente a naturalidade da fala sem induzir “supersaturação” espectral.
Desempenho: Precisão de clonagem de nível SOTA
Em testes de benchmark no conjunto de dados Seed, o LongCat-AudioDiT demonstra desempenho dominante:
Similaridade (SIM): O modelo de 3,5 bilhões de parâmetros alcançou uma pontuação de 0,818 no conjunto de testes Seed-ZH e 0,797 no desafiador conjunto de frases Seed-Hard, superando modelos notáveis como Seed-TTS, CosyVoice3.5 e MiniMax-Speech.
Precisão: Ele está entre os melhores desempenhos do setor em métricas-chave, incluindo um WER em inglês de 1,50% e um CER em frases difíceis em chinês de 6,04%.
Notavelmente, o LongCat-AudioDiT alcança resultados superiores em comparação com modelos treinados em múltiplos estágios, utilizando apenas treinamento em um único estágio em dados de transcrição ASR pré-processados. O artigo de pesquisa associado, o código-fonte e os pesos do modelo estão agora totalmente em código aberto e disponíveis no GitHub e no HuggingFace.
Links do projeto:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
O Slackbot torna-se um Agente de IA
O Slackbot, o assistente automatizado integrado à plataforma de mensagens corporativas Slack da Salesforce, está se transformando em um agente de IA. O CTO da Salesforce, Parker Harris, prevê que ele alcance um status viral comparável ao do ChatGPT d
A ByteDance Aumenta os Incentivos de IA Principal com o Doubao Aumentando 14,6%
A ByteDance convocou recentemente uma reunião de divulgação sobre a participação acionária do DouBao para revelar novas políticas de incentivos para os funcionários envolvidos na divisão do DouBao. O preço de exercício das ações do DouBao foi elevado
MiniMax Lança Programa de Equipes 10x para Incentivar Especialistas Globais em IA
A MiniMax (Xiyu Technology), o Laboratório de Inteligência Artificial Geral, lançou oficialmente o "Equipe 10x", uma iniciativa global de colaboração de talentos. Este programa visa recrutar os melhores especialistas de diversos setores para explorar
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
