Ressentis après le festival du film AI de Tokyo, Japon : qu'est-ce que ChatGPT Sora ne peut pas faire ?

Le Festival du Film AI du Japon (AIFJ) s'est tenu avec grandeur au Tokyo Innovation Base (TIB) à Yurakucho, offrant aux spectateurs une expérience rare et témoignant de l'énergie innovante engendrée par l'interaction entre l'intelligence artificielle et l'art cinématographique. Cette édition du festival a projeté plus de 70 courts-métrages réalisés grâce à des technologies d'IA, couvrant une diversité de genres allant des films narratifs, animations, documentaires aux films expérimentaux. Nous vous présentons ici une œuvre remarquée avec une mention spéciale au festival : To The Bones. Ce court-métrage est également disponible sur Youtube, où le réalisateur Claudio Sa explique en détail sur sa chaîne Youtube comment il a utilisé des outils d'IA comme ChatGPT Sora, Midjourney et Runway en combinaison avec les outils traditionnels Photoshop et Premiere pour créer un film d'animation 3D.

À La Mort Présentation

To The Bones a été réalisé par Claudio Sa, fondateur et directeur artistique de Pistachio Studios, qui a plus de dix ans d'expérience en production d'animation. Ce court métrage est le résultat de sa tentative de combiner ChatGPT Sora et d'autres outils d'IA avec des logiciels traditionnels tels que Photoshop et Premiere pour créer un film d'animation.

Présentation de l'histoire de To The Bones

Un voyageur épuisé rencontre un nain, qui lui offre une pierre précieuse rouge scintillante. Après avoir porté cette pierre, il ressent un désir infini et finit par en payer le prix. Ce film est inspiré d'un conte de fées de Jordan Peterson.

Défi de production d'animation AI de 30 jours To The Bones

Le réalisateur de To The Bones a relevé le défi de produire un court-métrage d'animation 3D en 30 jours avec un budget très limité en utilisant des outils d'IA. Le réalisateur ne voulait pas que le film ait l'apparence d'une création générée par l'intelligence artificielle, espérant, à travers le story-board de croquis initial et son style de réalisation, créer une œuvre plus artisanale, plus cohérente et davantage axée sur l'histoire. Ce court-métrage de 6 minutes utilise des outils tels que la plateforme OpenAI récemment lancée Sora ChatGPT Open Art, Runway ainsi que des logiciels traditionnels comme Photoshop, Premiere Pro et After Effects.

ChatGPT + autres outils de création d'IA pour produire des vidéos animées

Tout d'abord, Claudio a d'abord dessiné le croquis du personnage principal avec Photoshop, en utilisant Midjourney pour générer l'arrière-plan et les vêtements. Claudio a mis le personnage principal dessiné à la main et le brouillon de l'histoire sur ChatGPT pour donner quelques indices textuels à l'IA (prompt) afin de rendre les détails de l'intrigue plus spécifiques. En réalisant que l'histoire manquait encore de tension, Claudio a ajouté d'autres personnages pour permettre à ChatGPT de fonctionner, simplifiant le travail du scénario et ajoutant plus d'intrigues.

La fonction ChatGPT Sora 360 permet aux personnages de se tourner naturellement.

Ouvrir la fonction d'écran vert de Sora permet de remplacer différents arrière-plans. Claudio utilise la fonction de rotation à 360 degrés, permettant aux personnages de se tourner. Dans les dessins animés, si les personnages ne peuvent pas se déplacer naturellement, cela devient très rigide et étrange. De nombreux films lors des festivals de cinéma n'ont pas réussi à surmonter cette difficulté. Cependant, Claudio, fort de ses années d'expérience en production d'animation, a permis à l'IA d'accomplir une partie du travail. ChatGPT transforme le brouillon de l'histoire en scénario, utilise ElevenLabs pour le doublage des personnages, puis ajoute autant que possible de nombreux cadres vivants pour rendre l'intrigue et les images plus naturelles et émouvantes.

Les choses que OpenAI ChatGPT Sora ne peut pas faire

On peut comprendre Sora comme un appareil de cuisine avancé, comme une cocotte-minute ou un four. Si les aliments sont cuisinés puis placés à l'intérieur, le produit final se transforme plus rapidement en un plat délicieux. Le succès de To The Bones réside dans le fait que les « préparations » et les « post-traitements » sont tous traités avec l'aide de l'IA. OpenArt génère des intrigues, Claudio ramène les scènes dans Photoshop pour traiter chaque image (frame). Il recommande particulièrement Runway et OpenArt pour générer des ébauches et des images, tout en entraînant OpenAI à produire plus d'images. Cependant, le plus grand défi de créer des animations avec l'IA est la « cohérence narrative ». Dans un film d'animation avec une intrigue, il faut connecter les histoires et les scènes d'une manière continue. Faire un film d'animation n'est pas difficile, mais raconter une histoire de manière touchante nécessite des effets visuels forts et des retournements de situation. À ce moment-là, seules les personnes ayant un arrière-plan en production cinématographique et une expérience en écriture de scénarios peuvent résoudre ces problèmes techniques. De nombreux rebondissements dans les histoires ne sont pas encore prévisibles par l'IA actuelle. À ce moment-là, on se souvient que le Japon a récemment annoncé la résolution d'une affaire non résolue depuis plus de vingt ans. Une femme au foyer a été assassinée chez elle, et la police n'avait aucun indice sur le mobile ou l'auteur du crime. Même avec la science ADN, ils n'ont pas pu retrouver le coupable. Finalement, le mobile du crime était simplement la jalousie de l'assassin envers cette femme qui avait attiré l'attention de l'homme qu'il convoitait. C'est cela la complexité du fonctionnement du cerveau humain et le talent artistique ( pour commettre ) des crimes qui ne peuvent pas être entièrement remplacés par l'intelligence artificielle. Avoir une histoire avec des retournements qui reste logique nécessite encore le cerveau humain, la logique de pensée humaine, que les machines ne pourront jamais complètement prédire. Les scénaristes d'Hollywood ont encore du pain sur la planche.

Références :

Jusqu'aux os

J'ai réalisé un film avec l'IA. Voici ce qui s'est passé.

À l'os Outils utilisés :

ChatGPT Sora par OpenAI

Assistant IA Kling

Script Runway

Voix off générée par IA Elevenlabs

Cet article sur le festival du film AI à Tokyo, au Japon, quelles sont les effets que ChatGPT Sora ne peut pas réaliser ? Apparu pour la première fois sur Chain News ABMedia.