L’intelligence artificielle dans la réalisation de films : de nouvelles possibilités créatives

Le film Here (2023) est sorti il y a quelques semaines et constitue un excellent exemple de la manière dont l’intelligence artificielle (AI) transforme le processus de réalisation cinématographique. Réalisé par Robert Zemeckis, le film a utilisé une technologie avancée de rajeunissement basée sur l’AI pour montrer les acteurs Tom Hanks et Robin Wright sous les traits de leurs personnages pendant 60 ans. Contrairement aux images de synthèse traditionnelles (CGI (images de synthèse)), dont le perfectionnement peut prendre des mois, cette approche a permis de voir instantanément les transformations sur le plateau, tout en économisant du temps et de l’argent. L’AI ne se contente pas d’enrichir la narration : elle rend aussi la production cinématographique plus efficace et innovante.

En effet, Hollywood expérimente désormais des techniques innovantes comme le remplacement facial piloté par l’AI, l’amélioration de personnages de type deepfake, la génération automatique d’arrière-plans et les environnements virtuels en temps réel. Ces innovations rendent les effets visuels plus réalistes et la production plus efficace. Les rapports montrent que l’adoption de l’AI générative dans l’industrie cinématographique progresse rapidement, avec un impressionnant taux de croissance annuel de 27,2 %.

Fig 1. Vue d’ensemble du marché de l’AI générative dans les films.

Ces dernières années, la CGI est devenue un élément standard de nombreux films. Presque tous les films de Marvel Studios utilisent une technologie de rajeunissement pour faire revenir des personnages très appréciés des fans, suscitant la nostalgie et améliorant l’expérience cinématographique. L’AI est désormais un élément essentiel de la réalisation cinématographique, intervenant dans tous les domaines, de la narration et du montage vidéo à l’écriture de scénarios. Voyons comment l’industrie cinématographique utilise l’intelligence artificielle pour rendre les films plus captivants, plus efficaces et visuellement impressionnants.

La narration assistée par l’AI dans les films#

Du rajeunissement des acteurs à la création de personnages entièrement nouveaux, l’AI aide les cinéastes à donner vie à leurs visions créatives. Examinons de plus près certaines de ces applications de l’AI.

Utiliser l’AI pour les effets visuels au cinéma#

Les effets visuels et la CGI jouent un rôle important dans la réalisation cinématographique depuis de nombreuses années. Leur première utilisation marquante remonte à Westworld (1973), qui employait des images pixellisées pour montrer la perspective d’un robot. Au fil du temps, ces technologies sont devenues plus avancées et plus réalistes.

L’intégration de l’intelligence artificielle les a encore améliorés. Des techniques comme le rajeunissement, la transformation faciale et la capture de mouvement assistée par l’AI rendent désormais les effets numériques plus naturels. Par exemple, dans Gemini Man (2019), la technologie de rajeunissement a transformé Will Smith, alors âgé de 50 ans, en une version convaincante de lui-même à 23 ans. Cela a donné vie au personnage de Junior.

Fig 2. Will Smith a été rajeuni de 50 à 23 ans.

Voici comment fonctionne la technologie de rajeunissement utilisant l’AI :

• Numérisation faciale : des numérisations haute résolution capturent les détails complexes du visage d’un acteur, comme la texture de la peau, les pores et les contours du visage.
• Modèles d’AI : les modèles de machine learning analysent des séquences d’archives ou des images de référence pour recréer les traits du visage, les expressions et les mouvements.
• Capture de la performance : les mouvements et les expressions des acteurs sont enregistrés à l’aide de la technologie de capture de mouvement afin de garantir des interprétations naturelles et réalistes.
• Reconstruction CGI reconstruction : un modèle numérique est créé et intégré de manière fluide aux séquences en prise de vue réelle, en reportant les expressions de l’acteur sur le personnage numérique.
• Éclairage et ajustements des textures : des techniques de rendu sophistiquées ajustent le teint, l’éclairage et les interactions avec l’environnement afin que le personnage numérique s’intègre naturellement à la scène.

Ce processus permet aux cinéastes d’obtenir un réalisme saisissant, qu’il s’agisse de créer des versions plus jeunes d’acteurs, des personnages entièrement nouveaux ou d’améliorer des effets visuels complexes.

Le rôle de la Vision AI dans l’amélioration des effets visuels au cinéma#

Il est important de garder à l’esprit que l’AI appliquée aux effets visuels et à la CGI est un vaste domaine qui englobe un large éventail de techniques et d’approches. Par exemple, l’une des technologies clés derrière ces innovations est la vision par ordinateur, une branche de l’AI qui aide les machines à analyser et à comprendre les données visuelles. Même si la vision par ordinateur seule ne suffit pas à rendre les effets visuels possibles, elle joue un rôle essentiel dans l’amélioration de leur réalisme et de leur intégration.

Prenons le suivi d’objets : il s’agit d’une tâche de vision par ordinateur qui aide à suivre le mouvement des objets ou des acteurs dans une scène, afin que les effets numériques restent alignés sur les séquences en prise de vue réelle. Le suivi d’objets fonctionne en analysant les images vidéo pour détecter la position de l’objet et son mouvement. Ces informations servent à ancrer des éléments numériques, comme des personnages ou des effets de CGI, afin qu’ils se déplacent naturellement avec l’objet suivi. Par exemple, dans une scène d’action, il peut suivre la main d’un acteur pour ajouter de manière fluide une arme ou un effet lumineux en CGI, donnant l’impression que cet élément fait partie de l’environnement physique.

Les personnages générés par l’AI dans les films#

Les personnages générés par l’AI changent la manière dont les cinéastes relèvent des défis comme l’achèvement d’une interprétation après le décès d’un acteur. Dans Furious 7, l’AI a été essentielle pour redonner vie au personnage de Paul Walker, Brian O’Conner, après sa mort prématurée. Les cinéastes ont utilisé la CGI et l’AI pour recréer numériquement le visage de Walker, en s’appuyant sur ses frères, Caleb et Cody, ainsi que sur l’acteur John Brotherton pour servir de doublures. L’AI a analysé les interprétations précédentes de Walker afin de reproduire avec précision ses expressions faciales et ses mouvements, tandis que des enregistrements audio existants ont servi à créer ses dialogues. L’utilisation innovante de l’AI a permis d’achever le film et de rendre hommage à l’héritage de Walker.

Fig 3. Superposition du visage de Paul Walker sur le corps de Cody Walker.

L’écriture de scénarios pilotée par l’AI#

L’AI générative accélère la phase de préproduction cinématographique en facilitant des tâches créatives comme l’écriture de scénarios et le développement de l’histoire. Les modèles d’AI sont capables d’analyser les scénarios et les dialogues de différents films, puis de générer des scénarios ou des histoires à partir d’instructions données. Ces outils d’AI peuvent identifier des schémas narratifs, suggérer des éléments d’intrigue et même créer des dialogues correspondant à des genres ou des tons spécifiques. Cela permet de gagner du temps et offre aux cinéastes un point de départ unique pour leur processus créatif.

Un exemple intéressant de l’utilisation créative de l’AI dans la réalisation cinématographique est le court métrage Sunspring, produit par End Cue en 2016. Ce qui rend ce film de science-fiction de 9 minutes unique, c’est que son scénario a été entièrement écrit par un bot d’AI nommé Benjamin. Entraîné sur des centaines de scénarios, dialogues et sous-titres de films des années 1980 et 1990, Benjamin a montré comment l’AI pouvait apporter une nouvelle perspective à la narration.

Fig 4. Un scénario généré par Benjamin.

L’AI dans le montage vidéo et la postproduction#

Des technologies avancées sont utilisées depuis des années en postproduction cinématographique, mais elles demandent souvent beaucoup de temps et d’efforts. L’AI change la donne en simplifiant le processus et en introduisant de nouveaux outils créatifs comme le montage automatisé et la synthèse vocale, ce qui rend la réalisation cinématographique plus rapide, plus simple et plus innovante.

Utiliser l’AI pour automatiser le montage vidéo#

Le montage est l’un des processus les plus chronophages de la réalisation cinématographique. Les monteurs passent généralement des heures à examiner les séquences, analyser les plans, sélectionner les meilleures prises et les assembler. Par exemple, dans le film Taken 3 (2014), une scène de 6 secondes où Liam Neeson (Bryan Mills) saute par-dessus une clôture comporte 14 coupes provenant de plusieurs caméras. Pour produire cette brève séquence, l’équipe de montage a dû examiner attentivement les séquences de différentes caméras, effectuer plusieurs ajustements et finaliser la séquence.

Pour accélérer ces processus, nous pouvons utiliser des outils de montage assistés par l’AI afin d’analyser les séquences provenant de différentes caméras et d’obtenir un résultat final cohérent. La vision par ordinateur joue un rôle important dans ces outils grâce à des techniques comme la classification des scènes, qui permet d’identifier et d’organiser les différentes parties des séquences, telles que les scènes d’action, les scènes de dialogue ou les transitions. Elle aide les outils d’AI à comprendre la structure d’un film et à prendre de meilleures décisions sur les clips à utiliser et leur agencement.

Fig 5. L’AI peut accélérer le processus de montage vidéo.

L’AI pour la composition de bandes sonores#

Dans un film, la musique thème et les musiques d’accompagnement jouent un rôle essentiel pour rehausser les scènes et créer un lien entre le film et son public. Ajuster parfaitement la hauteur et le ton à l’intensité d’une scène — en les accentuant pour les séquences d’action ou en les adoucissant pour les moments émotionnels — a toujours été une tâche difficile pour les compositeurs.

Pour simplifier ce processus, de nombreux compositeurs utilisent désormais des outils de génération musicale par l’AI. Par exemple, Michael Giacchino, lauréat d’un Oscar, d’un Golden Globe et d’un Grammy Award, a utilisé des outils d’AI pour créer certaines des pistes sombres et atmosphériques de The Batman (2022).

Le rôle de l’AI dans la synthèse vocale et le doublage#

Dans le passé, les ingénieurs du son s’appuyaient sur différentes propriétés pour imiter les sons d’une scène. Par exemple, le rugissement du Tyrannosaurus rex dans Jurassic Park (1993) est un mélange de différents cris d’animaux. Gary Rydstrom, le concepteur sonore du film récompensé par un Oscar, a combiné le barrissement d’un éléphanteau, le grondement d’un tigre et le gargouillement d’un alligator pour créer ce rugissement inoubliable. Enregistrer ces sons provenant de différentes sources demande du temps et des systèmes d’enregistrement avancés.

Fig 6. L’AI peut simplifier la postproduction sonore.

Cependant, grâce aux outils d’AI capables de générer différents sons, il est possible de les créer facilement. Par exemple, dans le film Top Gun: Maverick (2022), l’acteur Val Kilmer, qui interprète Tom Kazansky, a perdu sa voix à cause d’un cancer de la gorge. L’équipe du film a utilisé une technologie avancée d’AI pour recréer sa voix.

Considérations éthiques liées à l’AI dans la réalisation cinématographique#

Si l’AI peut accroître l’efficacité et ouvrir de nouvelles possibilités créatives, son rôle croissant dans l’industrie soulève également d’importantes questions éthiques, notamment :

• Propriété : les contenus générés par l’AI soulèvent des questions concernant la propriété, l’originalité et les droits de propriété intellectuelle. Lorsque des outils d’AI sont utilisés pour créer des scénarios, des personnages, de la musique ou des effets visuels, il devient difficile de déterminer qui doit être crédité et rémunéré.
• Désinformation dans les deepfakes : la technologie des deepfakes assistée par l’AI peut créer des contenus très réalistes. Cependant, elle peut également diffuser de fausses informations susceptibles d’avoir de graves conséquences juridiques.
• Questions de confidentialité : le processus d’entraînement de l’AI utilisé dans la réalisation cinématographique nécessite une vaste collection de données personnelles, comme des images, des vidéos et des voix d’acteurs. Cela soulève des préoccupations concernant la confidentialité et la protection des données.

Le prochain chapitre avec l’AI#

L’AI s’est imposée comme un outil ayant un impact majeur dans l’industrie cinématographique. De l’amélioration des effets visuels à la rationalisation de la postproduction, en passant par la génération de contenu créatif et la personnalisation de l’expérience des spectateurs, l’AI transforme notre manière de consommer et de créer des films.

Même si les avantages potentiels de l’AI sont immenses, il est essentiel de relever les défis éthiques associés à son utilisation. En favorisant un développement responsable de l’AI et en donnant la priorité à la créativité humaine, nous pouvons créer un avenir où la technologie et l’art s’entremêlent harmonieusement, en enrichissant l’expérience narrative tout en respectant les valeurs artistiques.

Pour en savoir plus sur l’AI, consulte notre dépôt GitHub et rejoins notre communauté active. Découvre diverses applications de l’AI dans des secteurs comme la fabrication et la conduite autonome.