Computer Vision in Spielen: Das Spielerlebnis aufwerten

Generative KI in der Spieleindustrie

Ein wichtiger Trend ist der Einsatz von generativer KI, um Spielcharaktere intelligenter und reaktionsfähiger zu machen. Ein großartiges Beispiel dafür ist die Erschaffung des ersten KI-gesteuerten Bosses im kommenden Onlinespiel MIR5.

In Spielen ist ein Bosskampf in der Regel ein herausfordernder Kampf gegen einen mächtigen Feind, der in Schlüsselmomenten eines Spiels auftaucht, oft am Ende eines Levels oder einer Storyline. Diese Kämpfe stellen in der Regel die Fähigkeiten der Spieler/innen auf die Probe und sind so gestaltet, dass sie sich intensiv und lohnend anfühlen.

‍

Normalerweise folgen Boss-Charaktere geskripteten Mustern und benutzen immer die gleichen Bewegungen. Aber in MIR5 lernt dieser neue KI-Boss tatsächlich von den Spielern, gegen die er kämpft. Er beobachtet, wie sich die Spieler/innen verhalten, welche Waffen sie benutzen, wie sie sich bewegen und auf welche Strategien sie sich verlassen, und passt dann seine eigenen Angriffe an, um den Kampf herausfordernd zu gestalten. 

Wenn du also wieder gegen denselben Boss kämpfst, verhält er sich vielleicht nicht zweimal auf dieselbe Weise. Diese Art von adaptivem Verhalten lässt die Kämpfe realistischer erscheinen und zwingt die Spieler/innen dazu, mitzudenken, anstatt nur Muster auswendig zu lernen.

Computer Vision in VR-Spielen

Ein weiterer KI-Trend im Gaming ist die zunehmende Nutzung von Virtual Reality (VR). VR ist eine Technologie, die es den Spieler/innen ermöglicht, mit einem Headset und Bewegungssteuerung in eine vollständig digitale 3D-Welt einzutauchen. So hat man das Gefühl, im Spiel zu sein, anstatt es nur auf einem Bildschirm zu sehen. 

In Kombination mit Computer Vision wird KI eingesetzt, um die Bewegungen und Reaktionen der Spieler/innen in VR-Spielen genauer zu verfolgen. Dabei werden Kameras und Sensoren eingesetzt, um reale Bewegungen wie Kopfdrehungen, Handgesten oder sogar Gesichtsausdrücke zu erfassen und diese Daten dann in Aktionen im Spiel zu übersetzen. Das hilft dabei, ein flüssigeres, lebensechteres Erlebnis in der VR zu schaffen, bei dem sich deine Gesten und Bewegungen wirklich mit der Spielwelt verbunden fühlen.

Mixed-Reality-Rennen mit Computer Vision

Hot Wheels: Rift Rally ist ein Rennspiel, das ein physisches ferngesteuertes (RC) Auto mit virtuellem Gameplay kombiniert. Die Spieler/innen können mit dem RC-Auto durch ihre Wohnung fahren, während auf dem Bildschirm eine digitale Version des Autos Stunts wie Drifts, Sprünge und Boosts vollführt. Obwohl das echte Auto auf dem Boden bleibt, erzeugt das Spiel die Illusion von Hochgeschwindigkeits-Action, indem es visuelle Effekte über eine Live-Videoübertragung legt.

Dieses System basiert auf der Mixed-Reality-Technologie (sie verschmilzt reale und digitale Welten, so dass physische und virtuelle Elemente in Echtzeit interagieren können) und Computer Vision, um das Erlebnis zu ermöglichen. Das RC-Auto ist mit einer Kamera ausgestattet, die die Umgebung abtastet, während es sich bewegt. Die Spieler/innen platzieren visuelle Markierungen (schwarze und weiße Papptore), sogenannte Fiducial Markers, im Raum, die das System als Referenzpunkte verwendet. 

Mithilfe von Computer Vision erkennt das Spiel diese Markierungen, verfolgt die Position des Autos und erstellt eine virtuelle Karte des Raums. Auf diese Weise kann das Spiel digitale Inhalte wie Strecken und Hindernisse genau in der realen Umgebung platzieren und die physischen Bewegungen mit dem, was auf dem Bildschirm angezeigt wird, synchronisieren.

‍

Virtuelle Haustiere mit Vision AI unterrichten

Peridot, ein von Niantic entwickeltes Handyspiel (dasselbe Unternehmen, das auch hinter Pokémon Go steckt, einem der frühesten und populärsten Beispiele für Computer Vision in einem AR-Spiel), nutzt Computer Vision und Augmented Reality, um die Pflege eines digitalen Haustiers in der realen Welt zu verankern. 

Die Spieler/innen können sich um eine Kreatur namens Peridot kümmern, indem sie sie füttern, spielen und mit ihr spazieren gehen. Während du dich durch dein Haus oder deine Nachbarschaft bewegst, erscheint das Tier auf deinem Handy und erkundet mit dir den Boden, reagiert auf Gegenstände und versteckt sich sogar hinter echten Möbeln.

Um dies zu ermöglichen, nutzt das Spiel Computer-Vision-Techniken wie 3D-Mapping und semantische Segmentierung, wobei das System die Kamera deines Handys nutzt, um die Umgebung zu scannen und zu verstehen. Das hilft dem Tier, verschiedene Oberflächen zu erkennen und darauf zu reagieren, z. B. Gras von Beton zu unterscheiden oder auf Hindernisse wie Stühle und Bäume zu reagieren. 

‍

Handtracking und gemeinsame Mixed-Reality-Räume

Demeo, ein digitales Tabletop-RPG (Rollenspiel), nutzt Mixed-Reality-Funktionen, um sein Gameplay über Headsets wie das Meta Quest 2 und Quest Pro in die reale Welt zu bringen. Mit einem neuen Update unterstützt das Spiel nun Hand-Tracking und Colocation, so dass die Spieler/innen mit natürlichen Handbewegungen mit den Spielfiguren interagieren und in lokalen Multiplayer-Sessions denselben physischen und digitalen Raum mit anderen teilen können.

Zum Beispiel können Spieler/innen Demeo spielen, während sie ihren echten Hund streicheln - ein kleines, aber bedeutsames Zeichen dafür, wie Mixed Reality digitale und physische Räume verschmelzen kann. Diese Funktionen werden durch Computer Vision Technologien ermöglicht. Das Hand-Tracking nutzt die im Headset eingebauten Kameras, um die Bewegungen und die Position der Hände der Spieler/innen zu erkennen und zu interpretieren. 

‍

Bei der Colocation werden räumliche Anker und Punktwolkendaten verwendet, um die reale Umgebung abzubilden, sodass mehrere Headsets denselben virtuellen Raum synchronisieren können. Dadurch können die Spieler/innen im selben Raum das Spielbrett und die anderen Spieler/innen in denselben Positionen sehen, so dass der Eindruck entsteht, sie säßen um eine gemeinsame virtuelle Tischplatte.