Alibaba Revela Wan2.1-VACE: Solução de Vídeo de IA de Código Aberto

Alibaba apresentou o Wan2.1-VACE, um modelo de IA de código aberto pronto para transformar os processos de criação e edição de vídeos.

VACE é um componente chave da família de modelos de IA de vídeo Wan2.1 da Alibaba, com a empresa afirmando que é o “primeiro modelo de código aberto na indústria a oferecer uma solução abrangente para diversas tarefas de geração e edição de vídeos.”

Se a Alibaba conseguir simplificar o processo de produção de vídeo, consolidando várias ferramentas em uma única plataforma, isso pode redefinir os padrões da indústria.

O que o VACE pode fazer? Ele gera vídeos a partir de vários inputs, como prompts de texto, imagens estáticas ou clipes de vídeo curtos.

Além da criação de vídeos, suas capacidades de edição incluem o uso de imagens ou quadros de referência para guiar a IA, recursos avançados de “repintura” de vídeo, modificação de seções específicas de vídeo e extensão da duração do vídeo. A Alibaba afirma que essas ferramentas “permitem aos usuários combinar tarefas de forma flexível, aumentando o potencial criativo.”

Imagine criar um vídeo com personagens específicos com base em fotos fornecidas. O VACE pode, segundo relatos, tornar isso realidade. Tem uma imagem estática que deseja animar? Este modelo de IA de código aberto pode adicionar movimento realista a ela.

Para edição de precisão, o VACE oferece ferramentas de “repintura de vídeo”, permitindo transferências de pose entre sujeitos, controle detalhado de movimento, ajustes de profundidade e modificações de cor.

Um recurso destacado é sua capacidade de “adicionar, modificar ou remover áreas específicas do vídeo sem impactar o entorno.” Isso é uma mudança significativa para edições precisas, garantindo que os fundos permaneçam intocados. Ele também pode expandir a tela do vídeo, preenchendo novas áreas com conteúdo contextualmente relevante para um resultado mais rico e imersivo.

Com o VACE, você pode transformar uma foto estática em um vídeo, ditar movimentos de objetos definindo caminhos, trocar personagens ou objetos usando referências, animar essas referências ou controlar precisamente suas poses.

A Alibaba destaca a capacidade do VACE de converter uma imagem alta e estreita em um vídeo widescreen, expandindo-a inteligentemente ao incorporar elementos adicionais de imagens de referência ou prompts.

As capacidades do VACE são alimentadas por tecnologia sofisticada projetada para enfrentar as complexidades da edição de vídeo. A Unidade de Condição de Vídeo (VCU) “permite o processamento unificado de inputs multimodais como texto, imagens, vídeos e máscaras.”

Além disso, a estrutura “Adaptador de Contexto” integra “representações formalizadas das dimensões temporal e espacial,” dando à IA uma compreensão profunda de tempo e espaço dentro dos vídeos.

A Alibaba prevê o VACE destacando-se em aplicações como criação de conteúdo para redes sociais, publicidade dinâmica, pós-produção profissional para cinema e TV, e vídeos educacionais ou de treinamento personalizados.

Alibaba Compartilha Wan2.1-VACE como Código Aberto para Empoderar Criadores

Desenvolver modelos avançados de IA geralmente exige recursos significativos, incluindo grande poder computacional e dados. A decisão da Alibaba de abrir o código do Wan2.1-VACE é um movimento significativo.

“O acesso aberto reduz barreiras, permitindo que mais empresas utilizem a IA para criar conteúdo visual de alta qualidade, personalizado, de forma eficiente e acessível,” observa a Alibaba.

Essa iniciativa visa empoderar pequenas empresas e criadores individuais, fornecendo acesso a ferramentas de IA de ponta sem altos custos, promovendo uma inovação mais ampla.

A Alibaba oferece duas versões: um modelo robusto de 14 bilhões de parâmetros para sistemas de alto desempenho e um modelo mais leve de 1,3 bilhão de parâmetros para configurações menos exigentes. Ambos estão disponíveis gratuitamente no Hugging Face, GitHub e na comunidade ModelScope da Alibaba Cloud.

Veja também: EUA Reforçam Regras de Difusão de IA, Fortalecem Restrições à Exportação de Chips

Descubra mais sobre IA e big data com especialistas da indústria na AI & Big Data Expo em Amsterdã, Califórnia e Londres. Este evento é co-localizado com a Intelligent Automation Conference, BlockX, Digital Transformation Week e Cyber Security & Cloud Expo.

Explore eventos e webinars de tecnologia empresarial futuros hospedados pela TechForge aqui.