Pixar exploite l'IA pour allumer la flamme d'Elemental

PIXAR avait un problème. Il avait une superbe idée pour un nouveau film - Elemental, basé sur des personnages du réalisateur de The Good Dinosaur, Peter Sohn - mais animer les éléments titulaires du film s'est avéré être un défi. Comment capturer la nature éthérée du feu à l'écran et comment fonctionnerait un corps corporel fait d'eau ? Les yeux flottent-ils simplement ?

Certains de ces dilemmes pouvaient être résolus par une bonne vieille suspension de l'incrédulité, mais les animateurs de Pixar ont estimé que la question du feu était un véritable casse-tête, d'autant plus qu'un des personnages principaux du film, Ember, était censé être constitué de cette substance. Ils avaient des outils pour créer un effet de flamme à partir des animations précédentes, mais lorsqu'on essayait de le modeler en un personnage, les résultats étaient plutôt terrifiants.

« Nos simulations de fluides de feu sont très naturalistes et sont conçues pour imiter la réalité », déclare Sanjay Bakshi, superviseur des effets visuels.

Malgré la difficulté, Paul Kanyuk, superviseur technique des foules chez Pixar, avait une idée.

L'IA pour résoudre les problèmes d'animation

Il avait travaillé sur l'animation de foules chez Pixar depuis 2005, à commencer par Ratatouille, et avait toujours du mal à faire en sorte que les vêtements sur de grands groupes de personnes paraissent corrects. En cherchant à résoudre le problème, il s'était impliqué dans l'Association for Computing Machinery's Siggraph, une organisation communautaire dédiée à l'avancement des graphiques informatiques. Vers 2016, il a découvert certains des travaux de recherche du groupe sur l'utilisation de l'apprentissage machine pour affiner les simulations de tissus.

Elemental lui a donné l'occasion d'appliquer ce qu'il avait appris.

En 2019, Kanyuk est tombé sur un document de Siggraph Asia concernant l'utilisation du transfert de style neuronal (NST) - le type d'intelligence artificielle utilisé pour faire ressembler une photo à un Van Gogh ou à un Picasso - pour déplacer les voxels (en gros, des pixels 3D, avec du volume) dans l'animation, le tout dans le but de donner à un personnage un certain aspect. Kanyuk pensait que le NST pourrait aider Pixar à maîtriser son problème de flamme.

Une collaboration avec Disney Research Studios

Pour y parvenir, Kanyuk a fait appel à l'aide des Disney Research Studios, avec lesquels Pixar avait déjà travaillé sur Toy Story 4. Ce laboratoire, basé à Zurich, se spécialise dans la recherche sur la manière dont l'IA et l'apprentissage automatique peuvent faire des choses comme faire paraître les acteurs plus âgés ou plus jeunes, ou comment recréer au mieux la qualité de la peau de quelqu'un.

Ils ont finalement réussi à résoudre le problème en recrutant un artiste de Pixar, Jonathan Hoffman, pour dessiner un ensemble de flammes tourbillonnantes, pointues et presque caricaturales que l'équipe a surnommé "fleur

-de-lis". Le NST pouvait les combiner avec le feu plus amorphe de la simulation originale et - bam - vous obtenez le mouvement et l'intensité du feu tempérés par une petite touche du style et du contrôle de Pixar.

« Une fois que vous appliquez un transfert de style au feu naturaliste, vous pouvez commencer à diriger son style et à introduire la main de l'artiste dans quelque chose qui n'est sinon pas touchable », dit Jeremie Talbot, co-superviseur de caractères.

Les défis de l'utilisation de l'IA dans l'animation

L'inconvénient, bien sûr, était que l'utilisation de ce type d'apprentissage automatique nécessitait beaucoup de puissance de calcul. Faire une passe complète sur les 1 600 plans d'Elemental reviendrait à une tâche absolument monumentale, d'autant plus que le processus nécessite une grande quantité de processeurs graphiques.

« Les exigences ont augmenté et augmenté », dit Kanyuk, « nous avons donc fini par obtenir une accélération de 20X du moment où nous avons commencé jusqu'à celui où nous avons fini par le déployer en exploitant les GPU que tout le monde chez Pixar a sur son ordinateur. Nous avons trouvé un moyen de virtualiser le GPU et d'en prendre la moitié pour l'utiliser pendant la nuit, ce qui a permis de passer le temps de rendu d'un cadre de cinq minutes à une seconde. »

Il a fonctionné. Finalement, Kanyuk et tous les autres impliqués dans Elemental ont pu rendre les plans dont ils avaient besoin. Pixar gratte encore la surface de ce que peut faire le NST, dit-il, « mais je suis très excité que nous ayons trouvé une utilisation sur Elemental qui a élevé le type d'imagerie que nous pouvons créer. »

Pour Sohn, c'était l'occasion de faire en sorte que le film ait l'aspect qu'il voulait, tout en créant quelque chose qui ne ressemblait à rien de ce que le public avait déjà vu auparavant. Cela symbolisait, dit-il, une des choses qu'il aime chez Pixar : la rencontre de l'art et de la technologie, où cette dernière est une grande partie du processus, mais seulement un élément.

« C'est cette rencontre entre le cerveau gauche et le cerveau droit, et l'utilisation de la technologie comme un outil pour aider à exprimer les émotions », dit Sohn, « et à notre tour, nous pouvons nous connecter à la technologie, au lieu qu'elle semble être quelque chose de nouveau et de froid. »

Cet épisode illustre parfaitement comment l'intelligence artificielle peut être utilisée de manière créative pour surmonter des défis techniques complexes dans des domaines aussi divers que l'animation de films. La technologie continue de jouer un rôle crucial dans le développement de nouvelles façons de raconter des histoires et de créer des personnages uniques qui captivent le public.