Hogar
Aliyun, de Alibaba, presenta Fun-CineForge: un modelo y un conjunto de datos de doblaje de calidad cinematográfica de código abierto
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
Artículo relacionado
Suno añade marcas de agua a las canciones en medio de batallas legales
Suno, la plataforma que permite a los usuarios generar música creada por inteligencia artificial, ha presentado nuevas funciones para etiquetar las pistas producidas en la plataforma, restringir las descargas y actualizar las normas de la comunidad c
Musk admite que Grok filtró código de usuarios, promete borrar todos los datos históricos
Elon Musk abordó directamente la controversia por privacidad relacionada con Grok Build, comenzando con un simple "Verdadero" para confirmar la validez del incidente. Se comprometió a que todos los datos de usuario cargados previamente en SpaceXAI se
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
Recomendaciones de temas especiales relacionados
SEO
Las mejores herramientas de análisis de SERP basadas en IA para la estrategia de búsqueda
Las mejores herramientas de análisis de SERP con IA mejor valoradas de 2026 para la estrategia de búsqueda han sido seleccionadas por XIX.AI tras rigurosas pruebas en condiciones reales y clasificaciones que se actualizan semanalmente. Estas potentes herramientas te ayudan a descubrir oportunidades de optimización ocultas, a mejorar el rendimiento de tu contenido y a obtener una ventaja competitiva en los motores de búsqueda. Descubre hoy mismo la herramienta perfecta para mejorar tu estrategia de búsqueda. ¡Explora ahora!
13 herramientas
xix.ai
Análisis de datos
Mejores herramientas de IA para la detección de anomalías en el monitoreo de KPIs para equipos de SaaS y comercio electrónico
¡Las mejores herramientas de detección de anomalías con IA de 2026, más valoradas y destacadas para el monitoreo de KPI en equipos de SaaS y comercio electrónico! XIX.AI ha recopilado una poderosa colección transformadora basada en rigurosas pruebas del mundo real y clasificaciones actualizadas semanalmente. Encontrarás comparaciones detalladas entre versiones gratuitas y de pago que te ayudarán a identificar la solución imprescindible para aumentar la productividad y desbloquear tu ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
escribiendo
Los mejores generadores de esquemas basados en IA para artículos largos optimizados para SEO
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
Educación y aprendizaje
Herramientas de estudio basadas en IA para los deberes y la preparación de exámenes
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
composicion musical
Herramientas de demostración vocal con IA para compositores, ganchos, melodías principales y sesiones de borrador multilingüe
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
Negocio
Las mejores herramientas de investigación competitiva basadas en IA para pequeñas empresas
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
comentario (0)
0/500
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
Suno añade marcas de agua a las canciones en medio de batallas legales
Suno, la plataforma que permite a los usuarios generar música creada por inteligencia artificial, ha presentado nuevas funciones para etiquetar las pistas producidas en la plataforma, restringir las descargas y actualizar las normas de la comunidad c
Musk admite que Grok filtró código de usuarios, promete borrar todos los datos históricos
Elon Musk abordó directamente la controversia por privacidad relacionada con Grok Build, comenzando con un simple "Verdadero" para confirmar la validez del incidente. Se comprometió a que todos los datos de usuario cargados previamente en SpaceXAI se
Las acciones de EE. UU. alcanzan un hito histórico mientras gigantes de la IA y la aeroespacial se preparan para su debut de un billón de dólares
Elon Musk, Sam Altman y Dario Amodei, tres titanes del sector tecnológico, están avanzando hacia ofertas públicas iniciales para sus respectivas empresas. Con SpaceX, OpenAI y Anthropic, tres gigantes de la industria que se acercan a valoraciones de
Las mejores herramientas de análisis de SERP con IA mejor valoradas de 2026 para la estrategia de búsqueda han sido seleccionadas por XIX.AI tras rigurosas pruebas en condiciones reales y clasificaciones que se actualizan semanalmente. Estas potentes herramientas te ayudan a descubrir oportunidades de optimización ocultas, a mejorar el rendimiento de tu contenido y a obtener una ventaja competitiva en los motores de búsqueda. Descubre hoy mismo la herramienta perfecta para mejorar tu estrategia de búsqueda. ¡Explora ahora!
13 herramientas
xix.ai
¡Las mejores herramientas de detección de anomalías con IA de 2026, más valoradas y destacadas para el monitoreo de KPI en equipos de SaaS y comercio electrónico! XIX.AI ha recopilado una poderosa colección transformadora basada en rigurosas pruebas del mundo real y clasificaciones actualizadas semanalmente. Encontrarás comparaciones detalladas entre versiones gratuitas y de pago que te ayudarán a identificar la solución imprescindible para aumentar la productividad y desbloquear tu ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
