Künstliche Intelligenz im Filmemachen: Neue kreative Möglichkeiten

Der Film Here (2023) kam vor wenigen Wochen heraus und ist ein hervorragendes Beispiel dafür, wie künstliche Intelligenz (KI) den Filmemachungsprozess verändert. Unter der Regie von Robert Zemeckis nutzte der Film fortschrittliche, KI-gestützte Verjüngungstechnologie, um die Schauspieler Tom Hanks und Robin Wright in ihren Rollen über einen Zeitraum von 60 Jahren darzustellen. Im Gegensatz zu herkömmlichem CGI (Computer-Generated Imagery), dessen Perfektionierung Monate dauern kann, machte dieser Ansatz sofortige Verwandlungen am Set möglich, wodurch Zeit und Geld gespart wurden. KI bereichert nicht nur das Geschichtenerzählen, sondern macht die Filmproduktion auch effizienter und innovativer.

Tatsächlich experimentiert Hollywood derzeit mit innovativen Techniken wie KI-gesteuertem Gesichtsaustausch, Charakterverbesserungen im Deepfake-Stil, automatischer Hintergrunderzeugung und virtuellen Echtzeit-Umgebungen. Diese Innovationen machen visuelle Effekte realistischer und die Produktion effizienter. Berichte zeigen, dass die Einführung von generativer KI in der Filmindustrie rasant wächst, mit einer beeindruckenden jährlichen Wachstumsrate von 27,2 %.

Abb. 1. Eine Übersicht über den Markt für generative KI in Filmen.

In den letzten Jahren ist CGI in vielen Filmen zu einem Standardmerkmal geworden. Fast jeder Film der Marvel Studios verwendet Verjüngungstechnologie, um bei den Fans beliebte Charaktere zurückzubringen, was Nostalgie erweckt und das Kinoerlebnis verbessert. KI ist heute ein wesentlicher Bestandteil des Filmemachens und hilft bei allem, von der Handlungsentwicklung und dem Videoediting bis hin zum Drehbuchschreiben. Schauen wir uns an, wie die Filmindustrie künstliche Intelligenz nutzt, um Filme fesselnder, effizienter und visuell beeindruckender zu machen.

KI-gestütztes Storytelling in Filmen#

Von der Verjüngung von Schauspielern bis hin zur Erschaffung völlig neuer Charaktere hilft KI Filmemachern dabei, ihre kreativen Visionen zum Leben zu erwecken. Schauen wir uns einige dieser KI-Anwendungen genauer an.

Einsatz von KI für visuelle Effekte im Film#

Visuelle Effekte und CGI sind seit vielen Jahren ein wichtiger Bestandteil des Filmemachens. Ihre erste bedeutende Anwendung war in Westworld (1973), wo pixelbasierte Bilder verwendet wurden, um die Perspektive eines Roboters darzustellen. Im Laufe der Zeit sind diese Technologien fortgeschrittener und realistischer geworden.

Die Integration künstlicher Intelligenz hat sie weiter verbessert. Techniken wie Verjüngung, Gesichtsmorphing und KI-gestütztes Motion Tracking lassen digitale Effekte mittlerweile natürlicher wirken. Zum Beispiel verwandelte die Verjüngungstechnologie in Gemini Man (2019) den damals 50-jährigen Will Smith in eine überzeugende 23-jährige Version seiner selbst. Dadurch wurde die Figur Junior zum Leben erweckt.

Abb. 2. Will Smith wurde von 50 Jahren auf 23 Jahre verjüngt.

So funktioniert die Technologie zur Altersverjüngung, die KI nutzt:

• Gesichtsscanning: Hochauflösende Scans werden verwendet, um kleinste Details des Gesichts eines Schauspielers wie Hauttextur, Poren und Gesichtskonturen zu erfassen.
• KI-Modelle: Modelle des maschinellen Lernens analysieren Archivmaterial oder Referenzbilder, um Gesichtszüge, Ausdrücke und Bewegungen nachzubilden.
• Performance Capture: Die Bewegungen und Gesichtsausdrücke der Schauspieler werden mithilfe der Motion-Capture-Technologie aufgezeichnet, um natürliche und realistische Darstellungen zu gewährleisten.
• CGI-Rekonstruktion: Ein digitales Modell wird erstellt und nahtlos mit Realaufnahmen verschmolzen, wobei die Gesichtsausdrücke des Schauspielers auf den digitalen Charakter übertragen werden.
• Beleuchtung und Texturanpassungen: Ausgereifte Rendering-Techniken passen Hautton, Beleuchtung und Umgebungsinteraktionen an, um sicherzustellen, dass sich der digitale Charakter natürlich in die Szene einfügt.

Dieser Prozess ermöglicht es Filmemachern, einen beeindruckenden Realismus zu erzielen, egal ob sie jüngere Versionen von Schauspielern erstellen, völlig neue Charaktere erschaffen oder komplexe visuelle Effekte verbessern.

Die Rolle von Vision AI bei der Verbesserung visueller Effekte im Film#

Es ist wichtig zu bedenken, dass KI bei visuellen Effekten und CGI ein breites Feld ist, das eine Vielzahl von Techniken und Ansätzen umfasst. Eine Schlüsselfchnologie hinter diesen Innovationen ist beispielsweise die Computer Vision, ein Zweig der KI, der Maschinen dabei unterstützt, visuelle Daten zu analysieren und zu verstehen. Zwar kann Computer Vision visuelle Effekte nicht allein ermöglichen, spielt jedoch eine entscheidende Rolle bei der Steigerung von Realismus und Integration.

Betrachte das Objekt-Tracking – es ist eine Computer-Vision-Aufgabe, die dabei hilft, die Bewegung von Objekten oder Schauspielern in einer Szene zu verfolgen, um sicherzustellen, dass digitale Effekte mit den Realaufnahmen ausgerichtet bleiben. Objekt-Tracking funktioniert durch die Analyse von Videoframes, um die Position und Bewegung eines Objekts zu erkennen. Diese Informationen werden verwendet, um digitale Elemente wie CGI-Charaktere oder Effekte zu verankern, sodass sie sich natürlich mit dem verfolgten Objekt bewegen. In einer Action-Szene kann es beispielsweise der Hand eines Schauspielers folgen, um nahtlos eine CGI-Waffe oder einen leuchtenden Effekt hinzuzufügen, sodass es wie ein Teil der physischen Umgebung wirkt.

KI-generierte Charaktere in Filmen#

KI-generierte Charaktere verändern die Art und Weise, wie Filmemacher Herausforderungen wie die Vollendung von Darstellungen nach dem Ableben eines Schauspielers angehen. In Fast & Furious 7 war KI maßgeblich daran beteiligt, Paul Walkers Charakter Brian O’Conner nach seinem plötzlichen Tod wieder zum Leben zu erwecken. Die Filmemacher nutzten CGI und KI, um Walkers Gesicht digital nachzubilden, und verließen sich dabei auf seine Brüder Caleb und Cody sowie den Schauspieler John Brotherton als Doubles. KI analysierte Walkers vorherige Darstellungen, um seine Gesichtsausdrücke und Bewegungen präzise zu replizieren, während vorhandene Audioaufnahmen verwendet wurden, um seinen Dialog zu gestalten. Der innovative Einsatz von KI ermöglichte die Fertigstellung des Films und half dabei, Walkers Vermächtnis zu ehren.

Abb. 3. Einblendung von Paul Walkers Gesicht auf Cody Walkers Körper.

KI-gestütztes Drehbuchschreiben#

Generative KI beschleunigt die Vorproduktionsphase des Filmemachens, indem sie bei kreativen Aufgaben wie dem Drehbuchschreiben und der Handlungsentwicklung unterstützt. KI-Modelle sind in der Lage, Drehbücher und Dialoge aus verschiedenen Filmen zu analysieren und können auf Basis gegebener Prompts Drehbücher oder Geschichten generieren. Diese KI-Tools können Muster beim Geschichtenerzählen erkennen, Handlungspunkte vorschlagen und sogar Dialoge erstellen, die zu bestimmten Genres oder Tonalitäten passen. Dies spart Zeit und bietet Filmemachern einen einzigartigen Ausgangspunkt für ihren kreativen Prozess.

Ein interessantes Beispiel für den kreativen Einsatz von KI im Film ist der Kurzfilm Sunspring aus dem Jahr 2016, produziert von End Cue. Das Einzigartige an diesem 9-minütigen Sci-Fi-Film ist, dass sein Drehbuch vollständig von einem KI-Bot namens Benjamin geschrieben wurde. Trainiert anhand von Hunderten von Drehbüchern, Dialogen und Untertiteln aus Filmen der 1980er und 1990er Jahre, zeigte Benjamin, wie KI eine neue Perspektive in das Geschichtenerzählen einbringen kann.

Abb. 4. Ein von Benjamin generiertes Drehbuch.

KI im Videoschnitt und in der Postproduktion#

Fortschrittliche Technologien werden seit Jahren in der Film-Postproduktion eingesetzt, erfordern aber oft viel Zeit und Mühe. KI ändert dies, indem sie den Prozess vereinfacht und neue kreative Werkzeuge wie automatisierte Bearbeitung und Sprachsynthese einführt, was das Filmemachen schneller, einfacher und innovativer macht.

Einsatz von KI für automatisierten Videoschnitt#

Das Editing ist einer der zeitaufwendigsten Prozesse beim Filmemachen. Redakteure verbringen normalerweise Stunden damit, Material zu überprüfen, Aufnahmen zu analysieren, die besten Takes auszuwählen und sie zusammenzufügen. In dem Film 96 Hours – Taken 3 (2014) beispielsweise umfasst eine 6-sekündige Szene, in der Liam Neeson (Bryan Mills) über einen Zaun springt, 14 Schnitte von mehreren Kameras. Um diese kurze Sequenz zu produzieren, musste das Schnittteam Material von verschiedenen Kameras genau prüfen, mehrere Anpassungen vornehmen und die Sequenz finalisieren.

Um diese Prozesse zu beschleunigen, können wir KI-gestützte Editing-Tools verwenden, um das Material von verschiedenen Kameras zu analysieren und ein stimmiges Endergebnis zu erzielen. Computer Vision spielt in diesen Tools eine wichtige Rolle durch Techniken wie die Szenen-Klassifizierung, um verschiedene Teile des Materials wie Actionsequenzen, Dialogszenen oder Übergänge zu erkennen und zu organisieren. Sie hilft KI-Tools dabei, die Struktur eines Films zu verstehen und bessere Entscheidungen darüber zu treffen, welche Clips verwendet und wie sie angeordnet werden sollen.

Abb. 5. KI kann den Videoschnitt-Prozess beschleunigen.

KI für die Komposition von Soundtracks#

In einem Film spielen Titelmusik und Hintergrundmusik eine entscheidende Rolle dabei, Szenen aufzuwerten und den Film mit dem Publikum zu verbinden. Die Tonhöhe und Tonalität perfekt an die Intensität einer Szene anzupassen – sei es, sie für Actionszenen zu verstärken oder für emotionale Momente abzuschwächen – war für Komponisten schon immer eine anspruchsvolle Aufgabe.

Um diesen Prozess zu vereinfachen, nutzen viele Komponisten heute Tools zur KI-Musikgenerierung. So verwendete beispielsweise Michael Giacchino, Gewinner eines Oscars, Golden Globes und Grammys, KI-Tools, um einige der dunklen und atmosphärischen Tracks in The Batman (2022) zu erstellen.

KI’s Rolle bei Sprachsynthese und Synchronisation#

Früher verließen sich Toningenieure auf verschiedene Eigenschaften, um Geräusche in einer Szene nachzuahmen. Zum Beispiel ist das Brüllen des Tyrannosaurus rex in Jurassic Park (1993) eine Mischung aus verschiedenen Tiergeräuschen. Gary Rydstrom, der oscarprämierte Sounddesigner des Films, verwendete eine Kombination aus dem Quietschen eines Baby-Elefanten, dem Knurren eines Tigers und dem Gurgeln eines Alligators, um das unvergessliche Brüllen zu erschaffen. Das Aufnehmen dieser Geräusche aus verschiedenen Quellen erfordert Zeit und fortschrittliche Aufnahmesysteme.

Abb. 6. KI kann die Sound-Postproduktion vereinfachen.

Mit KI-Tools, die verschiedene Töne generieren können, lassen sich diese jedoch problemlos erstellen. Im Film Top Gun: Maverick (2022) verlor beispielsweise der Schauspieler Val Kilmer, der Tom Kazansky spielt, aufgrund von Kehlkopfkrebs seine Stimme. Die Filmcrew nutzte fortschrittliche KI, um seine Stimme nachzubilden.

Ethische Überlegungen zu KI beim Filmemachen#

Während KI die Effizienz steigern und neue kreative Möglichkeiten eröffnen kann, wirft ihre wachsende Rolle in der Branche auch wichtige ethische Fragen auf, wie etwa:

• Eigentumsrechte: KI-generierte Inhalte werfen Fragen zu Eigentum, Originalität und geistigen Eigentumsrechten auf. Wenn KI-Tools eingesetzt werden, um Drehbücher, Charaktere, Musik oder visuelle Effekte zu erstellen, wird es schwierig zu bestimmen, wer genannt und vergütet werden sollte.
• Falschinformationen bei Deepfakes: KI-gestützte Deepfake-Technologie kann hochrealistische Inhalte erstellen. Sie kann jedoch auch falsche Informationen verbreiten, die schwerwiegende rechtliche Konsequenzen haben können.
• Datenschutzbedenken: Der mit dem Filmemachen verbundene KI-Trainingsprozess erfordert eine riesige Sammlung persönlicher Daten wie Bilder, Videos und Stimmen von Schauspielern. Dies wirft Bedenken hinsichtlich Datenschutz und Datensicherheit auf.

Das nächste Kapitel mit KI#

KI hat sich zu einem wirkungsvollen Werkzeug in der Filmindustrie entwickelt. Von der Verbesserung visueller Effekte und der Optimierung der Postproduktion bis hin zur Generierung kreativer Inhalte und der Personalisierung von Zuschauererlebnissen verändert KI die Art und Weise, wie wir Filme konsumieren und produzieren.

Obwohl das Potenzial der KI enorm ist, ist es entscheidend, die damit verbundenen ethischen Herausforderungen anzugehen. Indem wir eine verantwortungsvolle KI-Entwicklung fördern und die menschliche Kreativität in den Vordergrund stellen, können wir eine Zukunft schaffen, in der Technologie und Kunst nahtlos ineinandergreifen, das Storytelling-Erlebnis bereichern und gleichzeitig künstlerische Werte respektieren.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer aktiven Community. Entdecke verschiedene KI-Anwendungen in Bereichen wie Fertigung und autonomes Fahren.