Künstliche Intelligenz in der Filmproduktion: Neue kreative Möglichkeiten

Der Film Here (2023) kam vor einigen Wochen in die Kinos und ist ein hervorragendes Beispiel dafür, wie künstliche Intelligenz (AI) den Prozess des Filmemachens verändert. Unter der Regie von Robert Zemeckis nutzte der Film fortschrittliche KI-gestützte Technologie zur digitalen Verjüngung, um die Schauspieler Tom Hanks und Robin Wright über einen Zeitraum von 60 Jahren als ihre Figuren zu zeigen. Im Gegensatz zu herkömmlicher CGI (Computer-generierte Bildgestaltung), deren Perfektionierung Monate dauern kann, ermöglichte dieser Ansatz sofortige Verwandlungen direkt am Set und sparte dadurch Zeit und Geld. KI verbessert nicht nur das Erzählen von Geschichten, sondern macht auch die Filmproduktion effizienter und innovativer.

Tatsächlich experimentiert Hollywood inzwischen mit innovativen Techniken wie KI-gestütztem Gesichtsaustausch, Deepfake-ähnlichen Verbesserungen von Figuren, der automatischen Generierung von Hintergründen und Echtzeitumgebungen. Diese Innovationen machen visuelle Effekte realistischer und die Produktion effizienter. Berichten zufolge wächst die Einführung von generativer AI in der Filmbranche rasant – mit einer beeindruckenden jährlichen Wachstumsrate von 27,2 %.

Abb. 1. Ein Überblick über den Markt für generative AI im Film.

In den vergangenen Jahren ist CGI zu einem festen Bestandteil vieler Filme geworden. Fast jeder Film von Marvel Studios nutzt Technologie zur Verjüngung von Schauspielern, um bei den Fans beliebte Figuren zurückzubringen, Nostalgie zu wecken und das Kinoerlebnis zu verbessern. AI ist inzwischen ein wesentlicher Bestandteil des Filmemachens und unterstützt alle Bereiche – vom Erzählen von Geschichten und der Videobearbeitung bis hin zum Schreiben von Drehbüchern. Sehen wir uns an, wie die Filmbranche künstliche Intelligenz einsetzt, um Filme fesselnder, effizienter und visuell beeindruckender zu machen.

KI-gestütztes Erzählen von Geschichten in Filmen#

Von der Verjüngung von Schauspielern bis zur Erschaffung völlig neuer Figuren hilft AI Filmschaffenden, ihre kreativen Vorstellungen zum Leben zu erwecken. Werfen wir einen genaueren Blick auf einige dieser AI-Anwendungen.

Einsatz von AI für visuelle Effekte im Film#

Visuelle Effekte und CGI sind seit vielen Jahren ein wichtiger Bestandteil des Filmemachens. Erstmals bedeutend eingesetzt wurden sie in Westworld (1973), wo eine pixelartige Darstellung die Perspektive eines Roboters zeigte. Im Laufe der Zeit sind diese Technologien fortschrittlicher und realistischer geworden.

Die Integration künstlicher Intelligenz hat sie weiter verbessert. Techniken wie die Verjüngung von Schauspielern, Gesichtsverformung und KI-gestützte Bewegungserfassung lassen digitale Effekte inzwischen natürlicher wirken. In Gemini Man (2019) verwandelte die Technologie zur Verjüngung von Schauspielern beispielsweise den damals 50-jährigen Will Smith in eine überzeugende 23-jährige Version seiner selbst. Dadurch wurde die Figur Junior zum Leben erweckt.

Abb. 2 Will Smith wurde von 50 auf 23 Jahre verjüngt.

So funktioniert eine Technologie zur Verjüngung von Schauspielern, die AI nutzt:

• Gesichtserfassung: Hochauflösende Scans erfassen feine Details des Gesichts eines Schauspielers, etwa Hautstruktur, Poren und Gesichtskonturen.
• AI-Modelle: Modelle für maschinelles Lernen analysieren Archivaufnahmen oder Referenzbilder, um Gesichtszüge, Mimik und Bewegungen nachzubilden.
• Performance-erfassung: Bewegungen und Mimik der Schauspieler werden mithilfe von Bewegungserfassung aufgezeichnet, um natürliche und realistische Darstellungen zu gewährleisten.
• CGI-Rekonstruktion: Ein digitales Modell wird erstellt und nahtlos mit Realaufnahmen verbunden, wobei die Mimik des Schauspielers auf die digitale Figur übertragen wird.
• Anpassungen von Beleuchtung und Texturen: Hochentwickelte Rendertechniken passen Hauttönung, Beleuchtung und Wechselwirkungen mit der Umgebung an, damit sich die digitale Figur natürlich in die Szene einfügt.

Dieser Prozess ermöglicht Filmschaffenden einen beeindruckenden Realismus – ob sie jüngere Versionen von Schauspielern, völlig neue Figuren oder komplexe visuelle Effekte erschaffen.

Die Rolle von Vision AI bei der Verbesserung visueller Effekte im Film#

Es ist wichtig zu bedenken, dass AI bei visuellen Effekten und CGI ein weitreichendes Gebiet ist, das eine große Bandbreite an Techniken und Ansätzen umfasst. Eine zentrale Technologie hinter diesen Innovationen ist beispielsweise Computer Vision, ein Teilgebiet der AI, das Maschinen hilft, visuelle Daten zu analysieren und zu verstehen. Obwohl Computer Vision allein visuelle Effekte nicht ermöglichen kann, spielt sie eine entscheidende Rolle dabei, deren Realismus und Integration zu verbessern.

Betrachte das Objekt-Tracking: Es ist eine Computer-Vision-Aufgabe, die dabei hilft, die Bewegung von Objekten oder Schauspielern in einer Szene zu verfolgen und sicherzustellen, dass digitale Effekte an den Realaufnahmen ausgerichtet bleiben. Objekt-Tracking analysiert Videobilder, um die Position eines Objekts und seine Bewegung zu erkennen. Diese Informationen werden verwendet, um digitale Elemente wie CGI-Figuren oder Effekte an dem verfolgten Objekt zu verankern, sodass sie sich natürlich mitbewegen. In einer Actionszene kann das System beispielsweise der Hand eines Schauspielers folgen und nahtlos eine CGI-Waffe oder einen Leuchteffekt hinzufügen, sodass dieser wie ein Teil der physischen Umgebung wirkt.

KI-generierte Figuren in Filmen#

KI-generierte Figuren verändern den Umgang von Filmschaffenden mit Herausforderungen wie der Fertigstellung von Darstellungen nach dem Tod eines Schauspielers. In Furious 7 war AI entscheidend daran beteiligt, die Figur Brian O’Conner, gespielt von Paul Walker, nach dessen frühem Tod wieder zum Leben zu erwecken. Die Filmschaffenden rekonstruierten Walkers Gesicht mithilfe von CGI und AI digital und setzten dabei seine Brüder Caleb und Cody sowie den Schauspieler John Brotherton als Doubles ein. AI analysierte Walkers frühere Darstellungen, um seine Mimik und Bewegungen präzise nachzubilden, während vorhandene Tonaufnahmen zur Erstellung seiner Dialoge verwendet wurden. Der innovative Einsatz von AI ermöglichte die Fertigstellung des Films und trug dazu bei, Walkers Vermächtnis zu würdigen.

Abb. 3 Überlagerung von Paul Walkers Gesicht auf Cody Walkers Körper.

KI-gestütztes Schreiben von Drehbüchern#

Generative AI beschleunigt die Vorproduktion von Filmen, indem sie bei kreativen Aufgaben wie dem Schreiben von Drehbüchern und der Entwicklung von Geschichten unterstützt. AI-Modelle können Drehbücher und Dialoge aus verschiedenen Filmen analysieren und auf Grundlage vorgegebener Eingaben Drehbücher oder Geschichten erzeugen. Diese AI-Tools erkennen Muster im Erzählen von Geschichten, schlagen Handlungspunkte vor und erstellen sogar Dialoge, die zu bestimmten Genres oder Stimmungen passen. Das spart Zeit und bietet Filmschaffenden einen einzigartigen Ausgangspunkt für ihren kreativen Prozess.

Ein interessantes Beispiel für den kreativen Einsatz von AI beim Filmemachen ist der 2016 von End Cue produzierte Kurzfilm Sunspring. Das Besondere an diesem neuminütigen Science-Fiction-Film ist, dass sein Drehbuch vollständig von einem AI-Bot namens Benjamin geschrieben wurde. Benjamin wurde mit Hunderten von Drehbüchern, Dialogen und Untertiteln aus Filmen der 1980er- und 1990er-Jahre trainiert und zeigte, wie AI eine neue Perspektive auf das Erzählen von Geschichten eröffnen kann.

Abb. 4 Ein von Benjamin generiertes Drehbuch.

AI bei Videobearbeitung und Nachproduktion#

Fortschrittliche Technologien werden seit Jahren in der Nachproduktion von Filmen eingesetzt, erfordern jedoch häufig viel Zeit und Aufwand. AI verändert das, indem sie den Prozess vereinfacht und neue kreative Werkzeuge wie automatisierte Bearbeitung und Sprachsynthese einführt. Dadurch wird das Filmemachen schneller, einfacher und innovativer.

Einsatz von AI für die automatisierte Videobearbeitung#

Die Bearbeitung ist einer der zeitaufwendigsten Prozesse beim Filmemachen. Editoren verbringen normalerweise Stunden damit, Aufnahmen zu sichten, Einstellungen zu analysieren, die besten Takes auszuwählen und sie aufeinander abzustimmen. Im Film Taken 3 (2014) umfasst beispielsweise eine sechssekündige Szene, in der Liam Neeson (Bryan Mills) über einen Zaun springt, 14 Schnitte aus mehreren Kameraperspektiven. Um diese kurze Sequenz zu erstellen, musste das Schnittteam die Aufnahmen verschiedener Kameras genau prüfen, mehrere Anpassungen vornehmen und die Sequenz fertigstellen.

Um diese Prozesse zu beschleunigen, können wir KI-gestützte Bearbeitungswerkzeuge verwenden, die Aufnahmen aus verschiedenen Kameras analysieren und eine stimmige Endfassung erstellen. Computer Vision spielt in diesen Werkzeugen durch Techniken wie die Szenen klassifizierung eine wichtige Rolle. Sie hilft dabei, verschiedene Teile des Materials zu erkennen und zu ordnen, etwa Actionszenen, Dialogszenen oder Übergänge. So können AI-Tools die Struktur eines Films verstehen und bessere Entscheidungen darüber treffen, welche Clips verwendet und wie sie angeordnet werden.

Abb. 5. AI kann den Prozess der Videobearbeitung beschleunigen.

AI für die Komposition von Filmmusik#

In einem Film spielen Titelmusik und Hintergrundmusik eine entscheidende Rolle dabei, Szenen aufzuwerten und eine Verbindung zwischen dem Film und seinem Publikum herzustellen. Tonhöhe und Klangfarbe passend zur Intensität einer Szene zu gestalten – sie in Actionszenen zu verstärken oder in emotionalen Momenten sanfter zu machen – war für Komponisten schon immer eine anspruchsvolle Aufgabe.

Um diesen Prozess zu vereinfachen, verwenden viele Komponisten inzwischen Werkzeuge zur Erzeugung von Musik mit AI. Michael Giacchino, der mit einem Oscar, Golden Globe und Grammy ausgezeichnet wurde, setzte beispielsweise AI-Tools ein, um einige der düsteren und atmosphärischen Stücke in The Batman (2022) zu erstellen.

Die Rolle von AI bei Sprachsynthese und Synchronisation#

Früher nutzten Toningenieure verschiedene Eigenschaften, um Geräusche in einer Szene nachzuahmen. Das Brüllen des Tyrannosaurus Rex in Jurassic Park (1993) ist beispielsweise eine Mischung aus verschiedenen Tierlauten. Gary Rydstrom, der mit einem Oscar ausgezeichnete Sounddesigner des Films, kombinierte das Quietschen eines Elefantenbabys, das Knurren eines Tigers und das Gurgeln eines Alligators, um das unvergessliche Brüllen zu erschaffen. Die Aufnahme dieser Geräusche aus verschiedenen Quellen erfordert Zeit und fortschrittliche Aufnahmesysteme.

Abb. 6. AI kann die Nachproduktion von Ton vereinfachen.

Mit AI-Tools, die verschiedene Geräusche erzeugen können, lassen sich solche Klänge jedoch mühelos erstellen. Im Film Top Gun: Maverick (2022) verlor beispielsweise der Schauspieler Val Kilmer, der Tom Kazansky spielt, aufgrund von Kehlkopfkrebs seine Stimme. Das Filmteam nutzte fortschrittliche AI, um seine Stimme nachzubilden.

Ethische Überlegungen zu AI beim Filmemachen#

Obwohl AI die Effizienz steigern und neue kreative Möglichkeiten eröffnen kann, wirft ihre zunehmende Bedeutung in der Branche auch wichtige ethische Fragen auf, zum Beispiel:

• Eigentum: KI-generierte Inhalte werfen Fragen zu Eigentum, Originalität und Rechten des geistigen Eigentums auf. Wenn AI-Tools zum Erstellen von Drehbüchern, Figuren, Musik oder visuellen Effekten eingesetzt werden, ist es schwierig zu bestimmen, wem Anerkennung und Vergütung zustehen.
• Desinformation bei Deepfakes: KI-gestützte Deepfake-Technologie kann äußerst realistische Inhalte erzeugen. Sie kann jedoch auch falsche Informationen verbreiten, die schwerwiegende rechtliche Folgen haben können.
• Datenschutzbedenken: Der beim Filmemachen erforderliche Trainingsprozess von AI setzt die Erfassung großer Mengen personenbezogener Daten voraus, etwa Bilder, Videos und Stimmen von Schauspielern. Das wirft Fragen zum Datenschutz und zum Schutz von Daten auf.

Das nächste Kapitel mit AI#

AI hat sich zu einem wirkungsvollen Werkzeug in der Filmbranche entwickelt. Von der Verbesserung visueller Effekte und der Optimierung der Nachproduktion bis zur Erzeugung kreativer Inhalte und der Personalisierung von Zuschauererlebnissen verändert AI die Art und Weise, wie wir Filme konsumieren und erstellen.

Obwohl die potenziellen Vorteile von AI immens sind, ist es entscheidend, die mit ihrer Nutzung verbundenen ethischen Herausforderungen anzugehen. Indem wir eine verantwortungsvolle Entwicklung von AI fördern und die menschliche Kreativität in den Mittelpunkt stellen, können wir eine Zukunft schaffen, in der Technologie und Kunst nahtlos ineinandergreifen, das Erzählerlebnis verbessern und zugleich künstlerische Werte respektieren.

Erfahre mehr über AI in unserem GitHub-Repository und werde Teil unserer aktiven Community. Entdecke vielfältige AI-Anwendungen in Bereichen wie Fertigung und autonomes Fahren.