- il y a 13 heures
Runway lance Aleph 2.0, un modèle video to video qui permet de transformer ses vidéos avec un simple prompt.
Les usages sont nombreux et ses applications vont changer la façon de travailler dans l'industrie audio visuelle !
Dans cette vidéo, je mets le modèle à l'épreuve avec une série de tests : suppression d'objets, transformation de décors, changement de tenues et création de scène complète.
Si tu veux essayer Aleph 2.0 il est disponible sur le site de Runway : https://runwayml.com/
Les usages sont nombreux et ses applications vont changer la façon de travailler dans l'industrie audio visuelle !
Dans cette vidéo, je mets le modèle à l'épreuve avec une série de tests : suppression d'objets, transformation de décors, changement de tenues et création de scène complète.
Si tu veux essayer Aleph 2.0 il est disponible sur le site de Runway : https://runwayml.com/
Catégorie
🤖
TechnologieTranscription
00:00Changer le décor d'une vidéo.
00:02Changer les tenues de tes personnages.
00:05Crée facilement des effets spéciaux dignes d'Hollywood.
00:10Crée une scène de blockbuster sans décor, sans costume, sans lumière, simplement à l'aide de l'IA.
00:17C'est la promesse d'Alef 2.0, la dernière version de l'éditeur vidéo IA de Runway ML.
00:24Alef 2.0 réalise des prouesses en génération vidéo tout vidéo.
00:28Pour rappel donc, les modèles image tout vidéo, on utilise une image de référence.
00:33Et l'IA imagine entièrement la vidéo.
00:35Pour le texte tout vidéo, là aussi c'est de la création IA 100% à partir d'un texte.
00:39Mais avec un modèle vidéo tout vidéo, on peut guider l'IA avec beaucoup plus de précision.
00:44Et c'est d'ailleurs ce type de modèle IA qui va être le plus utilisé dans l'industrie audiovisuelle
00:50dans les prochaines années.
00:51Notamment pour réduire les coûts de création.
00:53Mettons donc Alef 2.0 à l'épreuve.
00:55Je suis sur runwayml.com et je vais me connecter à mon compte.
01:00Si toi, si tu veux t'inscrire, je te mets le lien de RunwayML en description et en commentaire épinglé.
01:04A l'inscription, il y a 150 crédits offerts.
01:07Il faudra ensuite prendre un abonnement.
01:09Et je te reparle des abonnements et des fonctionnements des crédits en fin de vidéo.
01:13Donc nous, aujourd'hui, on va s'intéresser à Alef 2.0.
01:16Il est présenté en page d'accueil, sinon je peux y accéder ici.
01:20Via le menu Apps Vidéo et je vais avoir Edit Studio qui est le studio d'édition IA qui utilise
01:26le modèle Alef 2.0.
01:28Et tout simplement, je vais uploader ma vidéo de référence.
01:31Et au niveau de la longueur, ça pourra traiter des vidéos d'une durée minimum de 2 secondes jusqu'à
01:37une durée maximum de 30 secondes.
01:39On peut directement sélectionner sinon une vidéo déjà présente dans ma librairie ou bien essayer parmi les vidéos exemples.
01:46Ici, je vais partir sur mes propres exemples et je vais commencer par quelque chose de très simple.
01:50Je vais supprimer des éléments d'une vidéo.
01:52Je vais commencer avec cette vidéo en essayant de supprimer un élément.
01:57Ici, l'arc de triomphe en entier.
01:59Pour ce faire, je sélectionne donc une des frames de la vidéo.
02:02Je te conseille de sélectionner celle où tu vois le mieux le sujet sur lequel tu vas adapter tes modifications.
02:09En l'occurrence, là, mon sujet, il est au milieu de la vidéo, c'est l'arc de triomphe.
02:12Mais par exemple, si j'avais plusieurs plans avec un arc de triomphe situé à différents endroits,
02:18j'aurais sélectionné la frame où il est le plus visible.
02:21Ici, dans la barre de prompt, je vais décrire le changement que je souhaite.
02:24Donc tout simplement, supprime l'arc de triomphe de la vidéo.
02:28Remplace la zone qu'occupait le monument par un arrière-plan naturel et cohérent avec le reste de la scène.
02:33Je vais devoir ensuite sélectionner un modèle image qui va être donc utilisé pour faire la modification sur la frame.
02:39Ici, on va utiliser GPT image 2.0.
02:42Je clique sur Generate Frame.
02:45J'ai ma frame qui vient d'être généré.
02:47Si je clique sur plus, je peux contrôler l'avant et l'après.
02:51Et ainsi, si le résultat est nickel, je n'ai plus qu'à confirmer pour générer la vidéo.
02:56Et ça me coûtera 28 crédits par seconde de vidéo.
02:58Donc, on va avoir normalement notre résultat avec la disparition de l'arc de triomphe.
03:04Voyons ce que ça donne.
03:05On voit le résultat avant et après.
03:08L'édition de vidéo est parfaite.
03:11On enchaîne en démarrant un nouveau projet.
03:13On est toujours dans l'Edit Studio.
03:15Et toujours avec la même vidéo qu'on va maintenant aller chercher dans notre bibliothèque.
03:19On sélectionne une de nos frames.
03:21Et cette fois-ci, on va tenter de remplacer le monument par un autre.
03:24Et pour ça, on va donner une image de référence.
03:28Donc, ce que j'ai fait, c'est que j'ai récupéré la photo de l'obélisque de la Concorde.
03:32Et je vais lui demander, remplace le monument au centre de la vidéo, donc l'arc de triomphe,
03:38par le monument de l'image de référence, donc l'obélisque de la Concorde.
03:43En modèle, je vais sélectionner le modèle.
03:45Je vais toujours garder GPT image 2.
03:47Et c'est parti pour la génération.
03:48Voilà ce que ça donne au niveau de la transformation.
03:52C'est plutôt satisfaisant.
03:54Nous allons valider.
03:55On va donc générer la vidéo.
03:56Et comparer les deux versions.
03:58On va voir si l'effet visuel marche.
04:00Je te mets la vidéo de référence à côté pour que tu constates.
04:03Alors, ça démarre bien, mais on a quand même un petit souci de caméra après quelques secondes.
04:08Ça mériterait d'être retravaillé via un logiciel de montage ou tout simplement de refaire l'exemple.
04:13Après, dans l'ensemble, ça reste naturel et il n'y a aucune erreur au niveau des images.
04:19Nouveau projet, on va essayer plus compliqué.
04:22En maintenant, imaginons un changement de décor.
04:25Et pour corser le tout, on a pris plusieurs plans de Paris.
04:28Donc, ça va être intéressant pour voir si la fonction multiplan fonctionne.
04:32Renaud précise qu'avec son modèle, on pourrait aller jusqu'à 10 cuts de vidéo normalement sans souci.
04:37Là, on aura un changement de décor qui seront effectués sur trois plans différents.
04:41On va sélectionner le plan du milieu, transforme les rues de Paris en ruines post-apocalyptiques, des bâtiments en ruines
04:48et effondrées, des débris au sol, un ciel brumeux teinté de jaune et une épaisse fumée qui dérive à travers
04:54les rues.
04:55Je vais sélectionner GPT-image 2 et je vais générer la frame, à noter pour les promptes.
04:59Là, j'ai choisi le français.
05:01Mais bien sûr, tu peux travailler en anglais, ça marche très bien aussi.
05:04Mais juste pour te dire qu'avec le français, je n'ai pas rencontré de difficultés.
05:07Alors, voici notre frame avant et après.
05:10C'est bon pour nous, on va générer la vidéo et on va voir surtout s'il arrive à appliquer
05:14cet effet à l'ensemble des plans.
05:16Voilà le résultat.
05:17Pareil, je te mets le plan original à côté pour comparaison.
05:21Et c'est cool, le style est adapté aux différents plans et on retrouve bien ce style apocalypse sur l
05:27'ensemble des plans.
05:28Alors, Aleph ne change pas le son original de la vidéo.
05:31Il n'y aura donc pas de création de nouveaux sons.
05:33Donc, soit tu as un son original, soit toi ensuite tu peux le créer pour pouvoir qu'il colle à
05:38l'ambiance.
05:39Effets sonores, musique pour agrémenter ton montage.
05:42On enchaîne les tests avec cette fois-ci des images d'un bureau.
05:45Différents plans mettant en scène des employés.
05:47Et ce qu'on va faire, c'est qu'on va sélectionner un plan de référence.
05:49On va partir sur celui-ci en milieu de vidéo.
05:52On va essayer de changer leur tenue pour attribuer le même uniforme à tous.
05:56Pour cela, j'ai conçu un uniforme en amont via ChatGPT.
06:01Je te laisse admirer celui-ci.
06:02Et ce que je vais faire, c'est que je vais prompter
06:05« Habille tous les personnages de la vidéo avec l'uniforme de l'image référence. »
06:09Et on va aller plus loin en ajoutant une deuxième consigne.
06:11« Mets les meubles et les murs en rose. »
06:14Et c'est parti avec GPT Image 2, on va générer la frame.
06:17Voyons donc ce que ça donne, ça a l'air vraiment pas mal.
06:19Je suis vraiment curieux de savoir s'il va appliquer cet effet à toutes les scènes
06:24et qu'on aura donc notre vidéo cohérente à 100%.
06:27On va tester ça en générant la vidéo.
06:29Alors, ça marche plutôt bien.
06:30Il a respecté le costume. Par contre, le rose change un petit peu plan par plan.
06:35C'est peut-être pas la même intensité.
06:37Mais en tout cas, ce qu'on peut dire, c'est que l'ensemble des plans a été respecté.
06:42La cohérence est là.
06:43Peut-être que pour avoir de meilleurs résultats, j'aurais pu travailler plan par plan
06:47au lieu de faire plusieurs séquences en même temps.
06:49Mais c'est intéressant de voir que l'outil peut le faire sans trop de problèmes.
06:53Ici, un autre test de changement de décor et de costume,
06:56avec une fille qui fait du roller au bord d'un fleuve dans un milieu urbain.
07:01Et j'avais demandé à Aleph 2.0 de me changer le costume de la fille et le temps de
07:06la scène.
07:06Alors, si le résultat est correct et même impressionnant au premier coup d'œil,
07:09on voit quelques défauts et artefacts.
07:11Peut-être que j'ai été trop vite dans mes générations.
07:14Et ça, je l'ai corrigé dans les exemples suivants.
07:16Quand tu souhaites changer plusieurs éléments d'une frame,
07:19comme par exemple les costumes et le décor,
07:21il faut mieux prendre le temps de faire plusieurs générations d'images sur la frame sélectionnée.
07:26Et d'ailleurs, c'est ce que j'ai fait dans les prochains exemples.
07:28D'abord, j'ai quand même testé quelques effets au niveau de vidéo verticale,
07:32basé plutôt ici sur les effets spéciaux.
07:34Et d'ailleurs, si tu passes sur ton téléphone,
07:36il est important de réduire la qualité à 30 fps.
07:39Donc, si tu as enregistré en 60 fps,
07:41il faudra repasser par un logiciel de montage pour transformer en 30 fps
07:45pour que la vidéo de référence soit acceptée.
07:47Là, j'ai une vidéo où je mime le mouvement d'une baguette magique avec un stylo.
07:51Et je vais lui demander, remplace le stylo par une baguette magique.
07:54Et change le décor, grande salle d'école de sorcellerie.
07:57Toujours sur GPT Image 2 qui me convient parfaitement.
08:00On sélectionne la frame où on voit bien ma main et le stylo.
08:03On génère.
08:04Le résultat est assez sympathique.
08:05On va pouvoir valider et générer la vidéo.
08:08L'effet est parfaitement réussi.
08:09A noter que maintenant, je vais continuer à le travailler
08:12et ajouter un prompt motion.
08:14La fonctionnalité motion, comme son nom l'indique,
08:16ça permet de prompter un mouvement ou un effet
08:18et même une apparition lors de ta vidéo.
08:21Si je prends ici ma photo de référence
08:23et que j'ajoute ici motion,
08:24je vais lui demander par exemple,
08:26la baguette envoie une boule de feu
08:27et incendie la pièce.
08:29On va voir ce que ça donne.
08:31Le résultat est très cool.
08:32Et comme je te disais avant,
08:33rien ne t'empêche de mettre des effets sonores
08:35ou de la musique pour compléter ton travail.
08:42Nouveau test, cette fois-ci,
08:43on va essayer de changer le style d'une vidéo.
08:45Donc pour cela, je vais reprendre les footages
08:46de la fille qui fait du roller dans la rue.
08:48Et en prompt, je vais indiquer
08:49« Restylise toute la vidéo en animé japonais,
08:52animation 2D dessinée à la main.
08:54Cell shading, contour marqué et couleur vibrante. »
08:57On a notre image et on va partir pour la génération
09:00pour voir ce que ça donne en vidéo.
09:02Le style animé, ce n'est pas vraiment ça.
09:04Je m'attendais à beaucoup mieux.
09:05Peut-être que ce n'était pas le meilleur exemple
09:07sur le changement de style
09:08et peut-être pas le meilleur usage du modèle.
09:10Allez, dernier test pour mélanger
09:12toutes les techniques qu'on a vues auparavant.
09:14Cette fois-ci, je me suis enregistré
09:15en train de mimer une scène d'action
09:16et je vais essayer de me transformer en pirate.
09:19Pour cela, maintenant tu connais,
09:20je commence à sélectionner une des frames.
09:22On va prendre celle-ci.
09:23Je vais indiquer en prompt
09:24« Transforme-moi en capitaine pirate,
09:26long manteau usé par les intempéries,
09:29tricorn, look marin robuste,
09:31place mes deux mains sur une roue de navire en bois
09:34pendant que je dirige,
09:35remplace l'arrière-plan par le pont d'un bateau pirate
09:39au milieu d'une violente tempête,
09:41ciel sombre et orageux,
09:42forte pluie, vague immense,
09:44écrasant sur le pont derrière moi.
09:45On sélectionne GPT image 2.0, c'est parti.
09:48J'ai mon résultat avec mon pirate,
09:50c'est plutôt bien réussi.
09:51Et ce que je vais faire,
09:52c'est que je vais continuer à définir mon image.
09:54Cette fois-ci, je vais aller sur « Edit this image »
09:56et je vais transformer un petit peu
09:58en ajoutant une référence
09:59et je vais ajouter cette image de Kraken
10:02et je vais compléter la description.
10:05Ajoute le Kraken de l'image de référence
10:07en train de surgir sur le pont derrière moi
10:08à l'arrière du navire,
10:10énorme tentacule rouge,
10:12étalé sur le pont
10:13avec son corps qui domine au-dessus du bain-stagage.
10:16Et c'est comme je le disais tout à l'heure,
10:17s'il y a plusieurs choses que tu veux changer
10:19sur ton design,
10:20c'est mieux d'y aller progressivement,
10:21ainsi bien penser d'y aller étape par étape
10:24pour avoir le maximum de cohérence.
10:26Ici, j'aurais pu même ajouter des étapes
10:28en habillant mon pirate,
10:30choisissant le décor
10:32et ensuite le Kraken.
10:33Donc ici, j'ai ma deuxième image
10:34avec le Kraken derrière moi
10:36et important, je vais ajouter un prompt motion.
10:38Vers le milieu du plan,
10:39une vague géant s'écrase sur la poupe,
10:41puis le Kraken de l'image référence
10:43surgit sur le pont derrière moi.
10:45Ces immenses tentacules rouges
10:47jaillissent hors de l'eau
10:48et s'agitent sur le pont
10:49tandis que l'eau de mer ruisselle
10:51le long de son corps.
10:51C'est parti, on va générer la vidéo.
10:53Voici le résultat.
10:54Bon, alors tu m'excuseras le jeu d'acteur.
10:56Par contre, la vidéo est très cool.
10:58C'est vraiment pas mal
10:59avec l'apparition du Kraken.
11:00Bon, peut-être le petit défaut,
11:01c'est les détails du Kraken
11:02qui ne sont pas super.
11:03Mais on a quand même une bonne base,
11:05un bon effet.
11:06Et peut-être qu'avec l'ajout d'une musique
11:07et d'effet sonore,
11:08ça peut encore rendre mieux.
11:10Accrochez-vous, on va s'en sortir.
11:14Oh, je veux peut-être parler.
11:17Ce modèle d'édition vidéo impressionnant.
11:20La prise en main est cool
11:21et on peut dire qu'il est au niveau
11:22des autres modèles d'édition vidéo
11:25comme Seed Dance 2.0
11:26ou encore Gemini Omni.
11:27Les usages sont assez fous
11:29et on voit bien que le marché
11:30de l'IA générative
11:31se concentre de plus en plus
11:32sur ce type de modèle
11:33vidéo-to-vidéo.
11:35C'est celui qui englobe
11:35les cas d'usage les plus importants
11:37et les plus professionnels.
11:38Une chose est sûre,
11:39il faudra compter sur Aleph 2.0.
11:40Avant de te quitter,
11:41un rappel des informations importantes.
11:42La vidéo référence sur Aleph 2.0
11:44peut aller de 2 à 30 secondes max.
11:46Ça fonctionne avec des vidéos multi-plans.
11:48On l'a vu dans nos exemples.
11:50Néanmoins,
11:51Runway conseille
11:51de ne pas dépasser les 10 cuts.
11:53Au niveau du modèle,
11:54le coût,
11:54c'est 28 crédits par seconde.
11:56Tu pourras créer gratuitement
11:57un compte Runway ML
11:58et bénéficier de 125 crédits
12:00à l'inscription.
12:01De quoi faire quelques tests.
12:03Je te mets le lien
12:04pour accéder au site
12:05en description
12:05et en commentaire épinglé.
12:07Tu l'as compris,
12:08Runway ML fonctionne avec des crédits
12:10donc on peut être vite limité.
12:11Si tu veux prendre un abonnement,
12:12ça démarre à partir
12:13de 12 dollars par mois
12:14sur un plan annuel.
12:16Mais il y a aussi
12:16des offres mensuelles
12:17à ajuster selon ton usage
12:18et du nombre de crédits
12:20dont tu auras besoin.
12:21On notera sur Runway ML,
12:22il n'y a pas que Aleph 2.0.
12:24Tu as aussi accès
12:25à d'autres modèles,
12:26notamment le modèle maison
12:27Gen 4.5,
12:29idéal pour le texte to video
12:30ou l'image to video.
12:31On a aussi les modèles spéciaux
12:32pour le lip sync
12:33et les personnages
12:34avec Actu
12:35qui là aussi fonctionne
12:36avec une vidéo de référence
12:37et Runway Caractère
12:38avec une image de référence.
12:39Il y a aussi la possibilité
12:40d'utiliser des modèles extérieurs.
12:42Par exemple,
12:42SeedDance 2.0
12:43et Kling 3.0.
12:45Plein d'autres fonctionnalités
12:46à explorer,
12:46dont certaines qu'on a déjà abordées
12:48sur le Labo des Réseaux.
12:49N'hésite pas à les faire un tour.
12:51C'était Marco,
12:51merci et à très bientôt
12:52sur le Labo des Réseaux.
Commentaires