Runway dévoile un générateur de vidéos AI avancé

La startup d'IA Runway vient de lancer ce qu'ils décrivent comme l'un des générateurs de vidéos alimentés par l'IA les plus fidèles du marché. Ils l'ont nommé Gen-4, et il est désormais disponible pour leurs clients individuels et entreprises. Runway affirme que Gen-4 peut maintenir l'apparence constante des personnages, des lieux et des objets à travers différentes scènes, préserver des environnements mondiaux cohérents, et même recréer des éléments sous de nouveaux angles et positions au sein de ces scènes.

Dans leur article de blog, Runway explique que Gen-4 peut prendre des références visuelles et des instructions pour produire de nouvelles images et vidéos qui respectent des styles, sujets et décors cohérents, tout cela sans nécessiter d'entraînement supplémentaire ou d'ajustement fin.

Gen-4 établit une nouvelle norme pour la génération de vidéos et représente une amélioration marquée par rapport à Gen-3 Alpha. Il excelle dans sa capacité à générer des vidéos hautement dynamiques avec des mouvements réalistes ainsi qu'une cohérence des sujets, des objets et des styles, avec une adhérence supérieure aux instructions et une compréhension du monde de premier ordre… pic.twitter.com/w9ACO5boJ7

— Runway (@runwayml) 31 mars 2025

Soutenue par de grands noms comme Salesforce, Google et Nvidia, Runway propose une gamme d'outils vidéo d'IA, y compris Gen-4. Ils font face à une concurrence rude de la part d'acteurs comme OpenAI et Google, mais ils se taillent leur propre niche. Ils ont même signé un contrat avec un grand studio hollywoodien et investissent des millions dans le financement de films utilisant des vidéos générées par IA.

Runway indique que Gen-4 permet aux utilisateurs de créer des personnages cohérents sous différentes conditions d'éclairage en utilisant une image de référence. Pour configurer une scène, vous pouvez télécharger des images de sujets et décrire comment vous souhaitez que le plan apparaisse.

En utilisant des références visuelles combinées à des instructions, Gen-4 vous permet de créer de nouvelles images et vidéos avec des styles, sujets, lieux et plus encore cohérents. Cela permet une continuité et un contrôle au sein de vos histoires.

Pour tester les capacités narratives du modèle, nous avons mis en place… pic.twitter.com/IYz2BaeW2U

— Runway (@runwayml) 31 mars 2025

Selon leur article de blog, « Gen-4 excelle dans sa capacité à générer des vidéos hautement dynamiques avec des mouvements réalistes ainsi qu'une cohérence des sujets, des objets et des styles avec une adhérence supérieure aux instructions et une compréhension du monde de premier ordre. » Ils affirment également que « Runway Gen-4 représente une étape significative dans la capacité des modèles génératifs visuels à simuler la physique du monde réel. »

Comme d'autres modèles de génération de vidéos, Gen-4 a été entraîné sur un grand nombre d'exemples de vidéos pour repérer des motifs et créer des séquences synthétiques. Runway reste discret sur la provenance des données d'entraînement, soucieux de préserver leur avantage. Mais ce secret pourrait aussi leur attirer des ennuis avec des poursuites liées à la propriété intellectuelle.

Par exemple, Runway fait actuellement face à une action en justice de la part d'artistes qui affirment que l'entreprise et d'autres entités d'IA générative ont entraîné leurs modèles sur des œuvres protégées par le droit d'auteur sans autorisation. La défense de Runway ? Ils s'appuient sur la doctrine de l'utilisation équitable. Il reste à voir si cela tiendra devant les tribunaux.

Les enjeux sont assez élevés pour Runway, d'autant plus qu'ils chercheraient à lever des fonds qui les valoriseraient à 4 milliards de dollars. Selon The Information, ils visent 300 millions de dollars de revenus annuels cette année, en partie grâce à de nouveaux produits comme une API pour leurs modèles de génération de vidéos.

Peu importe l'issue du procès, les outils vidéo d'IA générative bouleversent l'industrie du cinéma et de la télévision. Une étude de 2024 de l'Animation Guild a révélé que 75 % des sociétés de production cinématographique utilisant l'IA ont réduit, fusionné ou supprimé des emplois. L'étude prédit que d'ici 2026, plus de 100 000 emplois dans le divertissement aux États-Unis pourraient être perturbés par cette technologie.