La vision par ordinateur dans les jeux : Améliorer l'expérience du joueur

L'IA générative dans l'industrie du jeu

L'une des grandes tendances est l'utilisation de l'IA générative pour rendre les personnages des jeux plus intelligents et plus réactifs. La création du premier boss doté d'une IA dans le prochain jeu en ligne MIR5 en est un excellent exemple.

Dans les jeux, un combat de boss est généralement un combat difficile contre un ennemi puissant qui apparaît à des moments clés d'un jeu, souvent à la fin d'un niveau ou d'un scénario. Ces combats mettent généralement à l'épreuve les compétences du joueur et sont conçus pour donner une sensation d'intensité et de récompense.

‍

Traditionnellement, les boss suivent des schémas scénarisés, utilisant toujours les mêmes mouvements. Mais dans MIR5, ce nouveau boss IA apprend réellement des joueurs qu'il combat. Il observe le comportement des joueurs, les armes qu'ils utilisent, la façon dont ils se déplacent et les stratégies sur lesquelles ils s'appuient, puis il adapte ses propres attaques pour que le combat reste stimulant. 

Ainsi, si tu retournes combattre le même boss, il n'agira peut-être pas deux fois de la même façon. Ce type de comportement adaptatif rend les batailles plus réalistes, obligeant les joueurs à réfléchir en amont au lieu de simplement mémoriser des schémas.

Vision par ordinateur dans les jeux en RV

Une autre tendance de l'IA dans les jeux est l'utilisation croissante de la réalité virtuelle (RV). La RV est un type de technologie qui permet aux joueurs de pénétrer dans un monde entièrement numérique et en 3D à l'aide d'un casque et de commandes de mouvement. Elle donne l'impression d'être à l'intérieur du jeu, plutôt que de le regarder sur un écran. 

Combinée à la vision par ordinateur, l'IA est utilisée pour suivre la façon dont les joueurs se déplacent et réagissent avec plus de précision dans les jeux VR. Il s'agit d'utiliser des caméras et des capteurs pour capturer les mouvements du monde réel, comme les tours de tête, les gestes de la main ou même les expressions faciales, puis de traduire ces données en actions dans le jeu. Cela permet de créer des expériences plus fluides et plus réalistes dans la RV, où tes gestes et tes mouvements semblent vraiment liés à l'univers du jeu.

Course en réalité mixte à l'aide de la vision par ordinateur

Hot Wheels : Rift Rally est un jeu de course qui combine une voiture télécommandée physique avec un jeu virtuel. Les joueurs peuvent conduire la voiture RC dans leur espace de vie, tandis que l'écran affiche une version numérique de la voiture effectuant des cascades telles que des dérives, des sauts et des boosts. Bien que la vraie voiture reste au sol, le jeu crée l'illusion d'une action à grande vitesse en superposant des effets visuels à un flux vidéo en direct.

Cette configuration s'appuie sur la technologie de la réalité mixte (elle mélange les mondes réel et numérique, permettant aux éléments physiques et virtuels d'interagir en temps réel) et sur la vision par ordinateur pour que l'expérience fonctionne. La voiture RC est équipée d'une caméra qui scanne l'environnement pendant qu'elle se déplace. Les joueurs placent dans la pièce des marqueurs visuels (des portes en carton noir et blanc), appelés marqueurs fiduciaires, que le système utilise comme points de référence. 

La vision par ordinateur aide le jeu à reconnaître ces marqueurs, à suivre l'emplacement de la voiture et à construire une carte virtuelle de l'espace. Cela permet au jeu de placer avec précision le contenu numérique, comme les pistes et les obstacles, dans l'environnement réel, en synchronisant les mouvements physiques avec ce qui est montré à l'écran.

‍

Enseigner aux animaux de compagnie virtuels à l'aide de Vision AI

Peridot, un jeu mobile développé par Niantic (la même société qui est à l'origine de Pokémon Go, l'un des premiers exemples les plus populaires de vision par ordinateur dans un jeu de RA), utilise la vision par ordinateur et la réalité augmentée pour que les soins apportés à un animal de compagnie numérique semblent ancrés dans le monde réel. 

Les joueurs peuvent s'occuper d'une créature appelée Peridot en la nourrissant, en jouant à des jeux et en l'emmenant en promenade. Lorsque tu te déplaces dans ta maison ou ton quartier, l'animal apparaît sur ton téléphone pour explorer à tes côtés, en courant sur le sol, en réagissant aux objets et même en se cachant derrière de vrais meubles.

Pour rendre cela possible, le jeu utilise des techniques de vision artificielle comme la cartographie 3D et la segmentation sémantique, où le système utilise l'appareil photo de ton téléphone pour scanner et comprendre l'environnement. Cela aide l'animal à reconnaître et à réagir aux différentes surfaces, comme distinguer l'herbe du béton, ou réagir aux obstacles comme les chaises et les arbres. 

‍

Suivi des mains et espaces de réalité mixte partagés

Demeo, un RPG (jeu de rôle) numérique sur table, utilise des fonctions de réalité mixte pour amener son gameplay dans le monde réel grâce à des casques comme le Meta Quest 2 et le Quest Pro. Grâce à une récente mise à jour, le jeu prend désormais en charge le suivi des mains et la colocation, ce qui permet aux joueurs d'utiliser les mouvements naturels des mains pour interagir avec les pièces du jeu, et de partager le même espace physique et numérique avec d'autres personnes lors de sessions multijoueurs locales.

Par exemple, les joueurs peuvent jouer à Demeo tout en caressant leur vrai chien - un petit signe significatif de la façon dont la réalité mixte peut mélanger les espaces numériques et physiques. Ces fonctionnalités sont rendues possibles par les technologies de vision par ordinateur. Le suivi des mains fonctionne en utilisant les caméras intégrées du casque pour détecter et interpréter le mouvement et la position des mains du joueur, ce qui supprime le besoin de manettes traditionnelles. 

‍

La colocation utilise des ancres spatiales et des données de nuages de points pour cartographier l'environnement réel afin que plusieurs casques puissent synchroniser le même espace virtuel. Cela permet aux joueurs d'une même pièce de voir le plateau de jeu et de se voir les uns les autres dans les mêmes positions, créant ainsi l'effet d'être assis autour d'une table de jeu virtuelle partagée.