Visão computacional em jogos: Elevando o nível da experiência do jogador

Os jogos percorreram um longo caminho — desde simples aventuras pixeladas até os mundos massivos e imersivos que os jogadores exploram hoje. De fato, a ideia de que uma machine could think (máquina pudesse pensar), ou até mesmo jogar um jogo, foi considerada seriamente pela primeira vez na década de 1940.

Naquela época, uma máquina criada pelo físico Edward U. Condon foi exibida na Feira Mundial. Ela conseguia jogar Nim, um jogo matemático de estratégia onde dois jogadores se revezam removendo objetos de diferentes pilhas, e o objetivo é evitar pegar o último. A máquina jogou milhares de partidas contra visitantes e venceu a grande maioria, despertando o interesse inicial na possibilidade de máquinas inteligentes participarem de jogos.

Hoje, essa visão inicial está se tornando realidade de novas maneiras. Um dos desenvolvimentos mais empolgantes nos jogos é o uso de computer vision (visão computacional), um ramo da inteligência artificial (IA). À medida que os jogos se tornam mais dinâmicos e responsivos, a visão computacional está permitindo que as máquinas interpretem e compreendam informações visuais, criando experiências mais imersivas, interativas e personalizadas.

Especificamente, modelos de visão computacional como o Ultralytics YOLO11, conhecido por seu suporte a tarefas como detecção e rastreamento de objetos, estão sendo integrados aos jogos para aprimorar a interação e a responsividade em tempo real.

Neste artigo, veremos mais de perto como a visão computacional está sendo usada nos jogos para aprimorar a experiência do jogador e moldar o futuro do entretenimento interativo. Vamos começar!

Tendências recentes de IA e visão computacional nos jogos#

Antes de mergulharmos em exemplos de como a visão computacional está sendo usada na indústria de video gaming (jogos de videogame), vamos explorar algumas das tendências recentes de IA nesse espaço.

IA generativa na indústria de jogos#

Uma grande tendência é o uso de IA generativa para tornar os personagens dos jogos mais inteligentes e responsivos. Um ótimo exemplo é a criação do first AI-powered boss (primeiro chefe impulsionado por IA) no próximo jogo online MIR5.

Nos jogos, uma luta contra um chefão é tipicamente uma batalha desafiadora contra um inimigo poderoso que aparece em momentos-chave, muitas vezes no final de um nível ou enredo. Essas lutas geralmente testam as habilidades do jogador e são projetadas para serem intensas e gratificantes.

Fig 1. Uma olhada no primeiro chefe de IA.

Tradicionalmente, os personagens chefões seguem padrões roteirizados, usando o mesmo conjunto de movimentos todas as vezes. Mas no MIR5, esse novo chefão de IA realmente aprende com os jogadores que enfrenta. Ele observa como os jogadores se comportam, quais armas usam, como se movem e em quais estratégias confiam, e então adapta seus próprios ataques para manter a batalha desafiadora.

Portanto, se você voltar para lutar contra o mesmo chefão novamente, ele pode não agir da mesma forma duas vezes. Esse tipo de comportamento adaptativo torna as batalhas mais realistas, forçando os jogadores a pensarem rápido em vez de apenas memorizar padrões.

Visão computacional em jogos de VR#

Outra tendência de IA nos jogos é o uso crescente de virtual reality (VR) (realidade virtual - RV). A RV é um tipo de tecnologia que permite aos jogadores entrar em um mundo 3D totalmente digital usando um headset e controles de movimento. Ela cria a sensação de estar dentro do jogo, em vez de apenas assisti-lo em uma tela.

Combinada com a visão computacional, a IA está sendo usada para rastrear como os jogadores se movem e reagem com mais precisão em jogos de RV. Isso envolve o uso de cameras (câmeras) e sensores para capturar movimentos do mundo real, como giros de cabeça, gestos com as mãos ou até expressões faciais, e então traduzir esses dados em ações dentro do jogo. Isso ajuda a criar experiências mais suaves e realistas em RV, onde teus gestos e movimentos parecem verdadeiramente conectados ao mundo do jogo.

Exemplos do mundo real de visão computacional nos jogos#

A seguir, vamos dar uma olhada em algumas maneiras empolgantes pelas quais a visão computacional está sendo usada em jogos eletrônicos populares. Seja tornando a jogabilidade mais interativa ou desbloqueando novas maneiras de controlar personagens, a IA visual já está mudando a forma como jogamos.

Corrida em realidade mista usando visão computacional#

Hot Wheels: Rift Rally é um jogo de racing (corrida) que combina um carrinho de controle remoto (RC) físico com jogabilidade virtual. Os jogadores podem guiar o carrinho RC pelo seu espaço de convivência, enquanto a tela mostra uma versão digital do carro realizando manobras como derrapagens, saltos e impulsos. Embora o carro real permaneça no chão, o jogo cria a ilusão de ação em alta velocidade ao sobrepor efeitos visuais em cima de uma transmissão de vídeo ao vivo.

Essa configuração depende da mixed reality technology (tecnologia de realidade misturada — ela mescla mundos reais e digitais, permitindo que elementos físicos e virtuais interajam em tempo real) e da visão computacional para fazer a experiência funcionar. O carrinho RC está equipado com uma câmera que escaneia o ambiente conforme ele se move. Os jogadores colocam marcadores visuais (portas de papelão pretas e brancas), chamados de marcadores fiduciais, ao redor da sala, que o sistema usa como pontos de referência.

A visão computacional ajuda o jogo a reconhecer esses marcadores, rastrear a localização do carro e criar um mapa virtual do espaço. Isso permite que o jogo coloque com precisão conteúdo digital, como pistas e obstáculos, dentro do ambiente do mundo real, sincronizando o movimento físico com o que é mostrado na tela.

Fig 2. O carrinho RC está equipado com uma câmera em frente a um marcador fiducial.

Ensinando animais de estimação virtuais usando IA visual#

Peridot, um jogo móvel desenvolvido pela Niantic (a mesma empresa por trás de Pokémon Go, um dos exemplos mais antigos e populares de visão computacional em um jogo de RA), usa visão computacional e realidade aumentada para tornar o ato de cuidar de um animal de estimação digital algo baseado no mundo real.

Os jogadores podem cuidar de uma criatura chamada Peridot alimentando-a, jogando e levando-a para passear. Conforme você se move pela sua casa ou pelo bairro, o pet aparece no seu celular para explorar com você, correndo pelo chão, reagindo a objetos e até se escondendo atrás de móveis reais.

Para tornar isso possível, o jogo usa técnicas de visão computacional como mapeamento 3D e segmentation (segmentação) semântica, onde o sistema usa a câmera do teu telefone para escanear e compreender o ambiente. Isso ajuda o pet a reconhecer e responder a diferentes superfícies, como distinguir grama de concreto, ou a reagir a obstáculos como cadeiras e árvores.

Fig 3. Um vislumbre de um pet em Peridot.

Rastreamento de mãos e espaços compartilhados de realidade mista#

Demeo, um RPG de mesa digital (jogo de interpretação de papéis), usa recursos de realidade misturada para trazer sua jogabilidade para o mundo real através de headsets como o Meta Quest 2 e Quest Pro. Com uma atualização recente, o jogo agora suporta rastreamento de mãos e colocalização, tornando possível para os jogadores usarem movimentos naturais das mãos para interagir com as peças do jogo, e compartilharem o mesmo espaço físico e digital com outros em sessões multiplayer locais.

Por exemplo, os jogadores podem jogar Demeo enquanto fazem carinho no seu cachorro real — um sinal pequeno, mas significativo, de como a realidade misturada pode mesclar espaços digitais e físicos. Esses recursos são habilitados por tecnologias de visão computacional. O tracking (rastreamento) de mãos funciona usando as câmeras embutidas do headset para detectar e interpretar o movimento e a posição das mãos de um jogador, eliminando a necessidade de controles tradicionais.

Fig 4. Um exemplo da jogabilidade de Demeo.

Enquanto isso, a colocalização usa âncoras espaciais e dados de nuvem de pontos para mapear o ambiente do mundo real, de modo que vários headsets possam sincronizar o mesmo espaço virtual. Isso permite que os jogadores na mesma sala vejam o tabuleiro do jogo e uns aos outros nas mesmas posições, criando o efeito de sentar ao redor de uma mesa de jogo virtual compartilhada.

Prós e contras da visão computacional nos jogos#

A visão computacional está mudando a forma como as pessoas interagem com os jogos, tornando as experiências mais naturais e imersivas. Ela permite que os jogadores usem gestos, movimentos corporais ou até eye tracking (rastreamento ocular) para controlar a jogabilidade, enquanto ajuda os jogos a responderem ao ambiente do mundo real em tempo real. Esses recursos não apenas aprimoram a experiência geral, mas também tornam os jogos mais acessíveis a uma gama mais ampla de jogadores.

Ao mesmo tempo, a tecnologia tem algumas limitações. Ela pode consumir mais bateria e poder de processamento, e pode não funcionar tão bem com pouca luz ou em ambientes muito movimentados. Também há considerações importantes sobre privacidade, uma vez que geralmente depende da entrada da câmera.

No entanto, à medida que a tecnologia avança, os desenvolvedores estão encontrando soluções inteligentes para melhorar o desempenho e lidar com essas preocupações — tornando a visão computacional ainda mais útil e confiável nos jogos.

Principais pontos#

A visão computacional e a IA estão mudando a maneira como os jogos são feitos e jogados. Seja ajudando os personagens a responder de forma mais realista ou tornando a jogabilidade mais conectada ao mundo real, essas tecnologias estão abrindo possibilidades empolgantes. Elas não estão apenas fazendo os jogos parecerem melhores — estão tornando-os mais inteligentes e envolventes.

De títulos independentes a lançamentos de grandes estúdios, estamos vendo mais desenvolvedores experimentarem recursos baseados em visão. À medida que essas ferramentas continuam a crescer, podemos esperar experiências ainda mais criativas e imersivas no futuro dos jogos.

Explora as nossas páginas de soluções para descobrir aplicações de AI in manufacturing (IA na fabricação) e computer vision in healthcare (visão computacional na saúde). Consulta our licensing options (as nossas opções de licenciamento) para começar a criar as tuas próprias inovações de visão!