Alibaba presenta Wan2.1-VACE: solución de video de IA de código abierto

Alibaba ha presentado Wan2.1-VACE, un modelo de IA de código abierto diseñado para transformar los procesos de creación y edición de videos.

VACE es un componente clave de la familia de modelos de IA de video Wan2.1 de Alibaba, y la compañía afirma que es el “primer modelo de código abierto en la industria que ofrece una solución integral para diversas tareas de generación y edición de videos.”

Si Alibaba logra optimizar el proceso de producción de videos, consolidando múltiples herramientas en una sola plataforma, podría redefinir los estándares de la industria.

¿Qué puede hacer VACE? Genera videos a partir de diversos insumos, como prompts de texto, imágenes estáticas o clips de video cortos.

Más allá de la creación de videos, sus capacidades de edición incluyen el uso de imágenes o fotogramas de referencia para guiar a la IA, funciones avanzadas de “repintado” de videos, modificación de secciones específicas de videos y extensión de la duración de los videos. Alibaba asegura que estas herramientas “permiten a los usuarios combinar tareas de manera flexible, potenciando el potencial creativo.”

Imagina crear un video con personajes específicos basados en fotos que proporciones. Según informes, VACE puede hacer que esto ocurra. ¿Tienes una imagen estática que quieres animar? Este modelo de IA de código abierto puede añadirle un movimiento realista.

Para una edición precisa, VACE ofrece herramientas de “repintado de video”, que permiten transferencias de poses entre sujetos, control detallado del movimiento, ajustes de profundidad y modificaciones de color.

Una característica destacada es su capacidad para “añadir, modificar o eliminar áreas específicas del video sin afectar el entorno.” Esto cambia las reglas del juego para ediciones precisas, asegurando que los fondos permanezcan intactos. También puede expandir el lienzo del video, rellenando nuevas áreas con contenido relevante contextual para un resultado más rico e inmersivo.

Con VACE, puedes transformar una foto estática en un video, dictar los movimientos de objetos definiendo trayectorias, intercambiar personajes u objetos usando referencias, animar esas referencias o controlar sus poses con precisión.

Alibaba destaca la capacidad de VACE para convertir una imagen alta y estrecha en un video panorámico, expandiéndola de manera inteligente al incorporar elementos adicionales desde imágenes de referencia o prompts.

Las capacidades de VACE están impulsadas por una tecnología sofisticada diseñada para abordar las complejidades de la edición de video. La Unidad de Condición de Video (VCU) “permite el procesamiento unificado de entradas multimodales como texto, imágenes, videos y máscaras.”

Además, la estructura de “Adaptador de Contexto” integra “representaciones formalizadas de las dimensiones temporal y espacial,” otorgando a la IA una comprensión profunda del tiempo y el espacio dentro de los videos.

Alibaba prevé que VACE destacará en aplicaciones como la creación de contenido para redes sociales, publicidad dinámica, postproducción profesional para cine y televisión, y videos educativos o de capacitación personalizados.

Alibaba comparte Wan2.1-VACE como código abierto para empoderar a los creadores

Desarrollar modelos de IA avanzados suele requerir recursos significativos, incluyendo una gran potencia computacional y datos. La decisión de Alibaba de hacer Wan2.1-VACE de código abierto es un movimiento significativo.

“El acceso abierto reduce las barreras, permitiendo que más empresas aprovechen la IA para crear contenido visual personalizado de alta calidad de manera eficiente y asequible,” señala Alibaba.

Este movimiento busca empoderar a pequeñas empresas y creadores individuales al proporcionar acceso a herramientas de IA de vanguardia sin costos elevados, fomentando una mayor innovación.

Alibaba ofrece dos versiones: un modelo robusto de 14 mil millones de parámetros para sistemas de alto rendimiento y un modelo más ligero de 1.3 mil millones de parámetros para configuraciones menos exigentes. Ambos están disponibles de forma gratuita en Hugging Face, GitHub y la comunidad ModelScope de Alibaba Cloud.

Ver también: EE. UU. refuerza las reglas de difusión de IA, fortalece las restricciones a la exportación de chips

Descubre más sobre IA y big data de expertos de la industria en la AI & Big Data Expo en Ámsterdam, California y Londres. Este evento está co-ubicado con la Conferencia de Automatización Inteligente, BlockX, Digital Transformation Week y Cyber Security & Cloud Expo.

Explora los próximos eventos y seminarios web de tecnología empresarial organizados por TechForge aquí.