Künstliche Intelligenz in der Filmproduktion: Neue kreative Möglichkeiten

Der Film Here (2024) kam vor wenigen Wochen in die Kinos und ist ein hervorragendes Beispiel dafür, wie künstliche Intelligenz (KI) den Filmemachungsprozess verändert. Unter der Regie von Robert Zemeckis setzte der Film fortschrittliche KI-gestützte Verjüngungstechnologie ein, um die Schauspieler Tom Hanks und Robin Wright über einen Zeitraum von 60 Jahren als ihre Figuren zu zeigen. Anders als herkömmliche CGI (computergenerierte Bilder), deren Perfektionierung Monate dauern kann, ermöglichte dieser Ansatz sofortige Veränderungen am Set und sparte Zeit und Geld. KI verbessert nicht nur das Geschichtenerzählen, sondern macht auch die Filmproduktion effizienter und innovativer.

Hollywood experimentiert mittlerweile mit innovativen Techniken wie KI-gestütztem Gesichtsaustausch, Charakterveränderungen im Deepfake-Stil, automatischer Hintergrundgenerierung und virtuellen Umgebungen in Echtzeit. Diese Innovationen sorgen für realistischere visuelle Effekte und eine effizientere Produktion. Berichten zufolge wächst der Einsatz von generativer KI in der Filmbranche rasant und verzeichnet eine beeindruckende jährliche Wachstumsrate von 27,2 %.

Abb. 1. Überblick über den Markt für generative KI in Filmen.

In den vergangenen Jahren ist CGI zu einem festen Bestandteil vieler Filme geworden. In fast jedem Film der Marvel Studios kommt Verjüngungstechnologie zum Einsatz, um bei Fans beliebte Figuren zurückzubringen, Nostalgie zu wecken und das Kinoerlebnis zu verbessern. KI ist inzwischen ein wichtiger Bestandteil des Filmemachens und unterstützt alles von der Entwicklung der Handlung und dem Videoschnitt bis hin zum Verfassen von Drehbüchern. Sehen wir uns an, wie die Filmbranche künstliche Intelligenz einsetzt, um Filme mitreißender, effizienter und visuell beeindruckender zu gestalten.

KI-gestütztes Geschichtenerzählen im Film#

Von der Verjüngung von Schauspielern bis hin zur Erschaffung völlig neuer Figuren hilft KI Filmemachern, ihre kreativen Visionen umzusetzen. Werfen wir einen genaueren Blick auf einige dieser KI-Anwendungen.

KI für visuelle Effekte im Film#

Visuelle Effekte und CGI sind seit vielen Jahren ein wichtiger Bestandteil des Filmemachens. Zum ersten Mal in größerem Umfang kamen sie in Westworld (1973) zum Einsatz, wo verpixelte Bilder die Sichtweise eines Roboters darstellten. Im Laufe der Zeit sind diese Technologien fortschrittlicher und realistischer geworden.

Die Integration künstlicher Intelligenz hat sie weiter verbessert. Techniken wie die Verjüngung, die Gesichtsverformung und die KI-gestützte Bewegungserfassung lassen digitale Effekte heute natürlicher wirken. So verwandelte die Verjüngungstechnologie in Gemini Man (2019) den damals 50-jährigen Will Smith in eine überzeugende 23-jährige Version seiner selbst. Dadurch wurde die Figur Junior zum Leben erweckt.

Abb. 2. Will Smith wurde von 50 auf 23 Jahre verjüngt.

So funktioniert KI-gestützte Verjüngungstechnologie:

• Gesichtsscans: Hochauflösende Scans erfassen feine Details im Gesicht eines Schauspielers, etwa Hautstruktur, Poren und Gesichtskonturen.
• KI-Modelle: Modelle des maschinellen Lernens analysieren Archivaufnahmen oder Referenzbilder, um Gesichtszüge, Gesichtsausdrücke und Bewegungen nachzubilden.
• Bewegungserfassung: Bewegungen und Gesichtsausdrücke von Schauspielern werden mithilfe von Motion-Capture-Technologie aufgezeichnet, um natürliche, realistische Darstellungen zu gewährleisten.
• Rekonstruktion mit CGI: Ein digitales Modell wird erstellt und mit Live-Action-Aufnahmen verbunden. Dabei werden die Gesichtsausdrücke des Schauspielers auf die digitale Figur übertragen.
• Anpassung von Beleuchtung und Texturen: Anspruchsvolle Rendering-Verfahren passen Hautton, Beleuchtung und Umgebungsinteraktionen an, damit sich die digitale Figur natürlich in die Szene einfügt.

Mit diesem Verfahren können Filmemacher beeindruckenden Realismus erzielen – ob sie jüngere Versionen von Schauspielern oder völlig neue Figuren erschaffen oder komplexe visuelle Effekte verbessern.

Die Rolle von Vision AI bei der Verbesserung visueller Effekte im Film#

Es ist wichtig zu beachten, dass KI in visuellen Effekten und CGI ein weitreichendes Gebiet ist, das viele verschiedene Techniken und Ansätze umfasst. Eine Schlüsseltechnologie hinter diesen Innovationen ist beispielsweise Computer Vision, ein Teilgebiet der KI, das Maschinen bei der Analyse und beim Verständnis visueller Daten unterstützt. Computer Vision allein ermöglicht zwar keine visuellen Effekte, spielt aber eine entscheidende Rolle dabei, sie realistischer zu gestalten und besser in die Szene einzufügen.

Betrachten wir das Objekttracking: Es ist eine Computer-Vision-Aufgabe, mit der sich die Bewegung von Objekten oder Schauspielern in einer Szene verfolgen lässt. Dadurch bleiben digitale Effekte an den Live-Action-Aufnahmen ausgerichtet. Beim Objekttracking werden Videobilder analysiert, um Position und Bewegung eines Objekts zu erkennen. Diese Informationen dienen dazu, digitale Elemente wie CGI-Figuren oder Effekte so zu verankern, dass sie sich natürlich mit dem verfolgten Objekt bewegen. In einer Actionszene kann das System beispielsweise der Hand eines Schauspielers folgen und eine CGI-Waffe oder einen Leuchteffekt hinzufügen, sodass dieser wie ein Teil der physischen Umgebung wirkt.

KI-generierte Figuren im Film#

KI-generierte Figuren verändern, wie Filmemacher Herausforderungen wie die Fortsetzung einer schauspielerischen Darbietung nach dem Tod eines Darstellers bewältigen. In Fast & Furious 7 war KI entscheidend daran beteiligt, Paul Walkers Figur Brian O’Conner nach seinem vorzeitigen Tod wieder aufleben zu lassen. Die Filmemacher verwendeten CGI und KI, um Walkers Gesicht digital nachzubilden. Als Stellvertreter dienten seine Brüder Caleb und Cody sowie der Schauspieler John Brotherton. Die KI analysierte Walkers frühere Darbietungen, um Mimik und Bewegungen präzise nachzubilden. Für den Dialog verwendete das Team vorhandene Audioaufnahmen. Durch den innovativen Einsatz von KI konnte der Film fertiggestellt und Walkers Vermächtnis gewürdigt werden.

Abb. 3. Paul Walkers Gesicht wurde auf Cody Walkers Körper gelegt.

KI-gestütztes Verfassen von Drehbüchern#

Generative KI beschleunigt die Vorproduktion von Filmen, indem sie kreative Aufgaben wie das Schreiben von Drehbüchern und die Entwicklung von Geschichten unterstützt. KI-Modelle können Drehbücher und Dialoge aus verschiedenen Filmen analysieren und auf Grundlage vorgegebener Eingaben Drehbücher oder Geschichten erzeugen. Diese KI-Werkzeuge können Erzählmuster erkennen, Handlungspunkte vorschlagen und sogar Dialoge erstellen, die zu bestimmten Genres oder Stimmungen passen. Das spart Zeit und bietet Filmschaffenden einen einzigartigen Ausgangspunkt für ihren kreativen Prozess.

Ein interessantes Beispiel für den kreativen Einsatz von KI beim Filmemachen ist der 2016 veröffentlichte Kurzfilm Sunspring von End Cue. Das Besondere an diesem neunminütigen Science-Fiction-Film ist, dass sein Drehbuch vollständig von einem KI-Bot namens Benjamin geschrieben wurde. Benjamin wurde mit Hunderten Drehbüchern, Dialogen und Untertiteln aus Filmen der 1980er- und 1990er-Jahre trainiert und zeigte, wie KI dem Geschichtenerzählen eine neue Perspektive verleihen kann.

Abb. 4. Ein von Benjamin generiertes Drehbuch.

KI beim Videoschnitt und in der Nachbearbeitung#

Fortschrittliche Technologien werden seit Jahren in der Filmnachbearbeitung eingesetzt, doch sie erfordern oft viel Zeit und Aufwand. KI verändert das, indem sie den Prozess vereinfacht und neue kreative Werkzeuge wie den automatischen Schnitt und die Sprachsynthese einführt. So wird das Filmemachen schneller, einfacher und innovativer.

KI für den automatisierten Videoschnitt#

Der Schnitt gehört zu den zeitaufwendigsten Prozessen beim Filmemachen. Cutter verbringen üblicherweise Stunden damit, Aufnahmen zu sichten, Einstellungen zu analysieren, die besten Takes auszuwählen und sie aneinanderzureihen. Im Film Taken 3 (2014) umfasst beispielsweise eine sechs Sekunden lange Szene, in der Liam Neeson (Bryan Mills) über einen Zaun springt, 14 Schnitte aus mehreren Kameras. Für diese kurze Sequenz musste das Schnittteam Aufnahmen verschiedener Kameras sorgfältig sichten, zahlreiche Anpassungen vornehmen und die Sequenz fertigstellen.

Um diese Abläufe zu beschleunigen, können Cutter KI-gestützte Schnittwerkzeuge verwenden, die Aufnahmen verschiedener Kameras analysieren und daraus ein stimmiges Endergebnis erstellen. Computer Vision spielt dabei eine wichtige Rolle: Techniken wie die Szenen klassifizierung helfen, verschiedene Teile des Filmmaterials zu erkennen und zu ordnen, etwa Actionszenen, Dialogszenen oder Übergänge. So können KI-Werkzeuge die Struktur eines Films verstehen und bessere Entscheidungen darüber treffen, welche Clips verwendet und wie sie angeordnet werden.

Abb. 5. KI kann den Videoschnitt beschleunigen.

KI für die Komposition von Filmmusik#

In Filmen spielen Titelmelodien und Hintergrundmusik eine entscheidende Rolle dabei, Szenen aufzuwerten und eine Verbindung zwischen dem Film und seinem Publikum herzustellen. Tonhöhe und Klangfarbe so abzustimmen, dass sie zur Intensität einer Szene passen – die Musik für Actionszenen zu verstärken oder für emotionale Momente abzumildern –, war für Komponisten schon immer eine Herausforderung.

Um diesen Prozess zu vereinfachen, nutzen viele Komponisten inzwischen Werkzeuge zur KI-Musikgenerierung. So setzte Michael Giacchino, Gewinner eines Oscars, eines Golden Globe und eines Grammy Awards, KI-Werkzeuge ein, um einige der düsteren, atmosphärischen Stücke in The Batman (2022) zu erstellen.

Die Rolle von KI bei Sprachsynthese und Synchronisation#

Früher mischten Toningenieure verschiedene aufgezeichnete Geräusche, um die Klänge einer Szene zu erzeugen. Das Brüllen des Tyrannosaurus rex in Jurassic Park (1993) besteht beispielsweise aus einer Mischung verschiedener Tiergeräusche. Gary Rydstrom, der Oscar-prämierte Sounddesigner des Films, kombinierte das Quieken eines Elefantenbabys, das Knurren eines Tigers und das Gurgeln eines Alligators zu dem unvergesslichen Brüllen. Die Aufzeichnung dieser Geräusche aus verschiedenen Quellen erfordert Zeit und fortschrittliche Aufnahmesysteme.

Abb. 6. KI kann die Ton-Nachbearbeitung vereinfachen.

Heute können KI-Werkzeuge solche Geräusche mit deutlich weniger Aufwand erzeugen. So verlor der Schauspieler Val Kilmer, der in Top Gun: Maverick (2022) Tom Kazansky spielt, aufgrund von Kehlkopfkrebs seine Stimme. Das Filmteam nutzte fortschrittliche KI, um seine Stimme nachzubilden.

Ethische Aspekte von KI beim Filmemachen#

KI kann zwar die Effizienz steigern und neue kreative Möglichkeiten eröffnen, doch ihre wachsende Rolle in der Branche wirft auch wichtige ethische Fragen auf, zum Beispiel:

• Eigentumsrechte: KI-generierte Inhalte werfen Fragen zu Eigentum, Originalität und geistigen Eigentumsrechten auf. Wenn KI-Werkzeuge zum Erstellen von Drehbüchern, Figuren, Musik oder visuellen Effekten eingesetzt werden, ist oft schwer zu bestimmen, wem die Urheberschaft zugeschrieben werden und wer dafür vergütet werden sollte.
• Desinformation durch Deepfakes: Mit KI erzeugte Deepfakes können äußerst realistische Inhalte hervorbringen. Sie können jedoch auch Falschinformationen verbreiten, die schwerwiegende rechtliche Folgen haben können.
• Bedenken zum Datenschutz: Für das KI-Training beim Filmemachen werden große Mengen personenbezogener Daten benötigt, etwa Bilder, Videos und Stimmen von Schauspielern. Das wirft Fragen zum Datenschutz und zum Schutz von Daten auf.

Das nächste Kapitel mit KI#

KI hat sich in der Filmbranche zu einem wirkungsvollen Werkzeug entwickelt. Von der Verbesserung visueller Effekte und der Rationalisierung der Nachbearbeitung bis hin zur Erstellung kreativer Inhalte und zur Personalisierung des Seherlebnisses verändert KI die Art und Weise, wie wir Filme erleben und produzieren.

Das Potenzial von KI ist zwar enorm, doch die ethischen Herausforderungen ihres Einsatzes müssen unbedingt berücksichtigt werden. Wenn wir eine verantwortungsvolle Entwicklung von KI fördern und menschliche Kreativität in den Mittelpunkt stellen, können wir eine Zukunft gestalten, in der Technologie und Kunst ineinandergreifen. So lässt sich das Erzählerlebnis verbessern und zugleich werden künstlerische Werte gewahrt.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer aktiven Community. Entdecke verschiedene KI-Anwendungen in Bereichen wie der Fertigung und dem autonomen Fahren.