Künstliche Intelligenz im Filmemachen: Neue kreative Möglichkeiten

Der Film Here (2023) kam vor einigen Wochen heraus und ist ein großartiges Beispiel dafür, wie künstliche Intelligenz (KI) den Filmprozess verändert. Bei dem von Robert Zemeckis gedrehten Film wurde fortschrittliche, KI-gestützte De-Aging-Technologie eingesetzt, um die Schauspieler Tom Hanks und Robin Wright als ihre Charaktere über einen Zeitraum von 60 Jahren darzustellen. Im Gegensatz zu herkömmlichem CGI (computer-generierte Bilder), dessen Perfektionierung Monate dauern kann, ermöglichte dieser Ansatz sofortige Transformationen am Set, was Zeit und Geld spart. KI verbessert nicht nur das Storytelling, sondern macht die Filmproduktion auch effizienter und innovativer.

Tatsächlich experimentiert Hollywood derzeit mit innovativen Techniken wie KI-gesteuertem Gesichtsaustausch, Deepfake-artigen Charakterverbesserungen, automatischer Hintergrundgenerierung und virtuellen Echtzeit-Umgebungen. Diese Innovationen machen visuelle Effekte realistischer und die Produktion effizienter. Berichte zeigen, dass die Einführung von generativer KI in der Filmindustrie schnell wächst, mit einer beeindruckenden jährlichen Wachstumsrate von 27,2 %.

Abb. 1. Ein Überblick über den Markt für generative KI in Filmen.

In den letzten Jahren ist CGI zu einem Standardmerkmal in vielen Filmen geworden. Fast jeder Film der Marvel Studios verwendet Technologie zur Altersverjüngung, um bei den Fans beliebte Charaktere zurückzubringen, was Nostalgie weckt und das filmische Erlebnis verbessert. KI ist heute ein wesentlicher Bestandteil des Filmemachens und hilft bei allem, vom Storytelling und Videoschnitt bis hin zum Drehbuchschreiben. Werfen wir einen Blick darauf, wie die Filmindustrie künstliche Intelligenz nutzt, um Filme fesselnder, effizienter und visuell beeindruckender zu gestalten.

Link to this sectionKI-gestütztes Storytelling in Filmen#

Von der Verjüngung von Schauspielern bis hin zur Erschaffung völlig neuer Charaktere hilft KI Filmemachern dabei, ihre kreativen Visionen zum Leben zu erwecken. Schauen wir uns einige dieser KI-Anwendungen genauer an.

Link to this sectionEinsatz von KI für visuelle Effekte im Film#

Visuelle Effekte und CGI sind seit vielen Jahren ein wichtiger Bestandteil des Filmemachens. Ihr erster bedeutender Einsatz war in Westworld (1973), wo pixelige Bilder verwendet wurden, um die Perspektive eines Roboters zu zeigen. Im Laufe der Zeit sind diese Technologien immer fortschrittlicher und realistischer geworden.

Die Integration künstlicher Intelligenz hat sie weiter verbessert. Techniken wie Altersverjüngung, Gesichtsmorphing und KI-gestützte Bewegungserfassung lassen digitale Effekte mittlerweile natürlicher aussehen. Zum Beispiel wurde in Gemini Man (2019) Will Smith, damals 50, mittels Altersverjüngungstechnologie in eine überzeugende 23-jährige Version seiner selbst verwandelt. Dies erweckte den Charakter Junior zum Leben.

Abb. 2. Will Smith wurde von 50 Jahren auf 23 Jahre verjüngt.

So funktioniert die Technologie zur Altersverjüngung, die KI nutzt:

• Gesichtsscan: Hochauflösende Scans werden verwendet, um komplexe Details des Gesichts eines Schauspielers zu erfassen, wie Hautstruktur, Poren und Gesichtskonturen.
• KI-Modelle: Maschinelles Lernen-Modelle analysieren Archivmaterial oder Referenzbilder, um Gesichtszüge, Ausdrücke und Bewegungen nachzubilden.
• Performance Capture: Die Bewegungen und Ausdrücke der Schauspieler werden mithilfe von Motion-Capture-Technologie aufgezeichnet, um natürliche, realistische Darbietungen zu gewährleisten.
• CGI Rekonstruktion: Ein digitales Modell wird erstellt und nahtlos mit Live-Action-Aufnahmen verschmolzen, wobei die Gesichtsausdrücke des Schauspielers auf den digitalen Charakter übertragen werden.
• Beleuchtung und Texturanpassungen: Hochentwickelte Rendering-Techniken passen Hauttöne, Beleuchtung und Interaktionen mit der Umgebung an, um sicherzustellen, dass sich der digitale Charakter natürlich in die Szene einfügt.

Dieser Prozess ermöglicht es Filmemachern, einen beeindruckenden Realismus zu erzielen, egal ob sie jüngere Versionen von Schauspielern erstellen, völlig neue Charaktere erschaffen oder komplexe visuelle Effekte verbessern.

Link to this sectionDie Rolle von Vision AI bei der Verbesserung visueller Effekte im Film#

Es ist wichtig zu bedenken, dass KI bei visuellen Effekten und CGI ein weites Feld ist, das eine Vielzahl von Techniken und Ansätzen umfasst. Eine Schlüsseltechnologie hinter diesen Innovationen ist beispielsweise Computer Vision, ein Zweig der KI, der Maschinen dabei hilft, visuelle Daten zu analysieren und zu verstehen. Während Computer Vision allein visuelle Effekte nicht möglich macht, spielt sie eine entscheidende Rolle bei der Verbesserung ihres Realismus und ihrer Integration.

Denke an Objektverfolgung – das ist eine Computer Vision-Aufgabe, die hilft, die Bewegung von Objekten oder Schauspielern in einer Szene zu verfolgen, um sicherzustellen, dass digitale Effekte mit den Live-Action-Aufnahmen synchron bleiben. Objektverfolgung funktioniert durch die Analyse von Videoframes, um die Position eines Objekts und dessen Bewegung zu erkennen. Diese Information wird verwendet, um digitale Elemente, wie CGI-Charaktere oder Effekte, zu verankern, damit sie sich natürlich mit dem verfolgten Objekt bewegen. Zum Beispiel kann sie in einer Actionszene der Hand eines Schauspielers folgen, um nahtlos eine CGI-Waffe oder einen leuchtenden Effekt hinzuzufügen, sodass es wie ein Teil der physischen Umgebung aussieht.

Link to this sectionKI-generierte Charaktere in Filmen#

KI-generierte Charaktere verändern die Art und Weise, wie Filmemacher Herausforderungen angehen, etwa die Vervollständigung von Darbietungen nach dem Tod eines Schauspielers. In Furious 7 war KI entscheidend dafür, Paul Walkers Charakter Brian O’Conner nach seinem frühen Tod wieder zum Leben zu erwecken. Die Filmemacher nutzten CGI und KI, um Walkers Gesicht digital nachzubilden, wobei sie sich auf seine Brüder Caleb und Cody sowie den Schauspieler John Brotherton als Doubles stützten. KI analysierte Walkers frühere Darbietungen, um seine Gesichtsausdrücke und Bewegungen präzise zu replizieren, während vorhandene Audioaufnahmen verwendet wurden, um seinen Dialog zu erstellen. Der innovative Einsatz von KI ermöglichte es, den Film fertigzustellen und trug dazu bei, das Vermächtnis von Walker zu ehren.

Abb. 3. Superimponieren von Paul Walkers Gesicht auf den Körper von Cody Walker.

Link to this sectionKI-gestütztes Drehbuchschreiben#

Generative KI beschleunigt die Vorproduktion beim Filmemachen, indem sie bei kreativen Aufgaben wie Drehbuchschreiben und Story-Entwicklung unterstützt. KI-Modelle sind in der Lage, Drehbücher und Dialoge aus verschiedenen Filmen zu analysieren und können auf der Grundlage von Vorgaben Drehbücher oder Geschichten generieren. Diese KI-Tools können Muster im Storytelling erkennen, Handlungspunkte vorschlagen und sogar Dialoge erstellen, die zu bestimmten Genres oder Tonalitäten passen. Das spart Zeit und bietet Filmemachern einen einzigartigen Ausgangspunkt für ihren kreativen Prozess.

Ein interessantes Beispiel für den kreativen Einsatz von KI beim Filmemachen ist der 9-minütige Sci-Fi-Kurzfilm Sunspring aus dem Jahr 2016, produziert von End Cue. Das Einzigartige an diesem Film ist, dass sein Drehbuch vollständig von einem KI-Bot namens Benjamin geschrieben wurde. Trainiert mit Hunderten von Drehbüchern, Dialogen und Untertiteln aus Filmen der 1980er und 1990er Jahre, zeigte Benjamin, wie KI eine frische Perspektive in das Storytelling einbringen kann.

Abb. 4. Ein von Benjamin generiertes Drehbuch.

Link to this sectionKI im Videoschnitt und in der Postproduktion#

Fortschrittliche Technologien werden seit Jahren in der Film-Postproduktion eingesetzt, erfordern aber oft viel Zeit und Mühe. KI ändert dies, indem sie den Prozess vereinfacht und neue kreative Werkzeuge wie automatisierte Bearbeitung und Sprachsynthese einführt, was das Filmemachen schneller, einfacher und innovativer macht.

Link to this sectionEinsatz von KI für automatisierten Videoschnitt#

Der Schnitt ist einer der zeitaufwendigsten Prozesse beim Filmemachen. Editoren verbringen normalerweise Stunden damit, Material zu sichten, Aufnahmen zu analysieren, die besten Takes auszuwählen und sie zusammenzufügen. Zum Beispiel beinhaltet eine 6-sekündige Szene im Film Taken 3 (2014), in der Liam Neeson (Bryan Mills) über einen Zaun springt, 14 Schnitte von mehreren Kameras. Um diese kurze Sequenz zu erstellen, musste das Schnitt-Team Filmmaterial aus verschiedenen Kameras genau sichten, mehrere Anpassungen vornehmen und die Sequenz finalisieren.

Um diese Prozesse zu beschleunigen, können wir KI-gestützte Schnitt-Tools verwenden, um das Material von verschiedenen Kameras zu analysieren und ein kohärentes Endergebnis zu erhalten. Computer Vision spielt eine wichtige Rolle in diesen Tools durch Techniken wie Szenen-Klassifizierung, um verschiedene Teile des Materials, wie Actionszenen, Dialoge oder Übergänge, zu identifizieren und zu organisieren. Dies hilft KI-Tools, die Struktur eines Films zu verstehen und bessere Entscheidungen darüber zu treffen, welche Clips verwendet und wie sie angeordnet werden sollen.

Abb. 5. KI kann den Videoschnitt-Prozess beschleunigen.

Link to this sectionKI für die Komposition von Soundtracks#

In einem Film spielen Titelmusik und Hintergrundmusik eine entscheidende Rolle dabei, Szenen aufzuwerten und den Film mit dem Publikum zu verbinden. Die Tonhöhe und Tonalität perfekt an die Intensität einer Szene anzupassen – sei es, sie für Actionszenen zu verstärken oder für emotionale Momente abzuschwächen – war für Komponisten schon immer eine anspruchsvolle Aufgabe.

Um diesen Prozess zu vereinfachen, nutzen viele Komponisten heute Tools zur KI-Musikgenerierung. Zum Beispiel nutzte Michael Giacchino, Gewinner von Oscar, Golden Globe und Grammy, KI-Tools, um einige der düsteren und atmosphärischen Tracks in The Batman (2022) zu erstellen.

Link to this sectionKI’s Rolle bei Sprachsynthese und Synchronisation#

Früher verließen sich Toningenieure auf verschiedene Eigenschaften, um Geräusche in einer Szene nachzuahmen. Zum Beispiel ist das Brüllen des Tyrannosaurus rex in Jurassic Park (1993) eine Mischung aus verschiedenen Tiergeräuschen. Gary Rydstrom, der oscarprämierte Sounddesigner des Films, verwendete eine Kombination aus dem Quietschen eines Baby-Elefanten, dem Knurren eines Tigers und dem Gurgeln eines Alligators, um das unvergessliche Brüllen zu erschaffen. Das Aufnehmen dieser Geräusche aus verschiedenen Quellen erfordert Zeit und fortschrittliche Aufnahmesysteme.

Abb. 6. KI kann die Sound-Postproduktion vereinfachen.

Mit KI-Tools, die verschiedene Sounds generieren können, lassen sie sich jedoch leicht erstellen. Im Film Top Gun: Maverick (2022) beispielsweise verlor Schauspieler Val Kilmer, der Tom Kazansky spielt, seine Stimme aufgrund von Kehlkopfkrebs. Das Filmteam nutzte fortschrittliche KI, um seine Stimme nachzubilden.

Link to this sectionEthische Überlegungen zu KI beim Filmemachen#

Während KI die Effizienz steigern und neue kreative Möglichkeiten eröffnen kann, wirft ihre wachsende Rolle in der Branche auch wichtige ethische Fragen auf, wie etwa:

• Eigentumsrechte: KI-generierte Inhalte werfen Fragen zu Eigentum, Originalität und geistigen Eigentumsrechten auf. Wenn KI-Tools eingesetzt werden, um Drehbücher, Charaktere, Musik oder visuelle Effekte zu erstellen, wird es schwierig zu bestimmen, wer genannt und vergütet werden sollte.
• Fehlinformationen bei Deepfakes: KI-gestützte Deepfake-Technologie kann äußerst realistische Inhalte erzeugen. Sie kann jedoch auch falsche Informationen verbreiten, die schwerwiegende rechtliche Konsequenzen haben können.
• Datenschutzbedenken: Der KI-Trainingsprozess beim Filmemachen erfordert eine riesige Sammlung persönlicher Daten, wie Bilder, Videos und Stimmen von Schauspielern. Dies wirft Bedenken hinsichtlich Datenschutz und Datensicherheit auf.

Link to this sectionDas nächste Kapitel mit KI#

KI hat sich zu einem wirkungsvollen Werkzeug in der Filmindustrie entwickelt. Von der Verbesserung visueller Effekte und der Optimierung der Postproduktion bis hin zur Generierung kreativer Inhalte und der Personalisierung von Zuschauererlebnissen verändert KI die Art und Weise, wie wir Filme konsumieren und produzieren.

Obwohl das Potenzial der KI enorm ist, ist es entscheidend, die damit verbundenen ethischen Herausforderungen anzugehen. Indem wir eine verantwortungsvolle KI-Entwicklung fördern und die menschliche Kreativität in den Vordergrund stellen, können wir eine Zukunft schaffen, in der Technologie und Kunst nahtlos ineinandergreifen, das Storytelling-Erlebnis bereichern und gleichzeitig künstlerische Werte respektieren.

Erfahre mehr über KI auf unserem GitHub-Repository und trete unserer aktiven Community bei. Entdecke verschiedene KI-Anwendungen in Sektoren wie Fertigung und autonomes Fahren.