AlibabaがWan2.1-VACEを発表：オープンソースAIビデオソリューション

Alibabaは、ビデオ作成および編集プロセスを革新するオープンソースAIモデル、Wan2.1-VACEを発表しました。

VACEは、AlibabaのWan2.1ビデオAIモデルファミリーの主要なコンポーネントであり、同社はこれが「業界初の多様なビデオ生成および編集タスクに対応する包括的なソリューションを提供するオープンソースモデル」だと主張しています。

もしAlibabaがビデオ制作プロセスを効率化し、複数のツールを単一のプラットフォームに統合できれば、業界標準を再定義する可能性があります。

VACEは何ができるのか？ テキストプロンプト、静止画、または短いビデオクリップなど、さまざまな入力からビデオを生成します。

ビデオ作成だけでなく、参照画像やフレームを使用してAIをガイドする編集機能、高度なビデオ「リペインティング」機能、特定のビデオセクションの変更、ビデオの長さの拡張などが含まれます。Alibabaは、これらのツールが「ユーザーがタスクを柔軟に組み合わせ、創造的な可能性を高めることを可能にする」と述べています。

提供した写真に基づいて特定のキャラクターをフィーチャーしたビデオを作成することを想像してみてください。VACEはそれを実現できるとされています。アニメーション化したい静止画がありますか？ このオープンソースAIモデルは、それにリアルな動きを追加できます。

精密な編集のために、VACEは「ビデオリペインティング」ツールを提供し、被写体間のポーズ転送、詳細な動きの制御、深度調整、色変更を可能にします。

際立った機能は、「周囲に影響を与えずに特定のビデオ領域を追加、変更、または削除する」能力です。これは、背景をそのままに保ちながら精密な編集を行うための革新的な機能です。また、ビデオキャンバスを拡張し、コンテキストに関連するコンテンツで新しい領域を埋め、より豊かで没入感のある結果を生み出します。

VACEを使用すると、静止画をビデオに変換したり、オブジェクトの動きをパスを定義して指示したり、参照を使用してキャラクターやオブジェクトを交換したり、それらの参照をアニメーション化したり、ポーズを正確に制御したりできます。

Alibabaは、VACEが縦長の画像をワイドスクリーンビデオに変換し、参照画像やプロンプトから追加の要素を取り込むことでインテリジェントに拡張する能力を強調しています。

VACEの機能は、ビデオ編集の複雑さに取り組むために設計された高度な技術によって支えられています。ビデオ条件ユニット（VCU）は、「テキスト、画像、ビデオ、マスクなどのマルチモーダル入力の統一処理を可能にします。」

さらに、「コンテキストアダプター構造」は「時間的および空間的次元の形式化された表現を統合」し、AIにビデオ内の時間と空間の深い理解を与えます。

Alibabaは、VACEがソーシャルメディアコンテンツ作成、ダイナミック広告、映画やテレビのプロフェッショナルなポストプロダクション、カスタマイズされた教育またはトレーニングビデオなどのアプリケーションで優れていると展望しています。

AlibabaがWan2.1-VACEをオープンソースとして共有し、クリエイターを支援

高度なAIモデルの開発には、通常、膨大な計算能力とデータを含む多大なリソースが必要です。AlibabaがWan2.1-VACEをオープンソース化する決定は重要な一歩です。

「オープンアクセスは障壁を下げ、より多くの企業がAIを活用してカスタマイズされた高品質のビジュアルコンテンツを効率的かつ手頃に作成できるようにします」とAlibabaは述べています。

この動きは、高コストなしで最先端のAIツールへのアクセスを提供することで、中小企業や個人のクリエイターを支援し、より幅広いイノベーションを促進することを目指しています。

Alibabaは、高性能システム向けの堅牢な140億パラメータモデルと、要求の少ないセットアップ向けの軽量な13億パラメータモデルの2つのバージョンを提供しています。両方とも、Hugging Face、GitHub、Alibaba CloudのModelScopeコミュニティで無料で利用可能です。

関連情報：米国がAI拡散ルールを強化、チップ輸出規制を強化

アムステルダム、カリフォルニア、ロンドンで開催されるAI & Big Data Expoで、業界の専門家からAIとビッグデータについてさらに学びましょう。このイベントは、Intelligent Automation Conference、BlockX、Digital Transformation Week、Cyber Security & Cloud Expoと共同開催されます。

TechForgeが主催する今後のエンタープライズテクノロジーイベントやウェビナーをこちらでご覧ください。