Visão computacional em jogos: elevando a experiência dos jogadores

Os jogos evoluíram muito: de aventuras simples e pixeladas aos vastos mundos imersivos que os jogadores exploram hoje. Na verdade, a ideia de que uma máquina poderia pensar ou até jogar foi considerada seriamente pela primeira vez na década de 1940.

Naquela época, uma máquina criada pelo físico Edward U. Condon foi apresentada na Feira Mundial. Ela podia jogar Nim, um jogo matemático de estratégia em que dois jogadores se revezam para retirar objetos de diferentes pilhas, e o objetivo é evitar pegar o último. A máquina disputou milhares de partidas contra visitantes e venceu a grande maioria, despertando um interesse inicial pela possibilidade de máquinas inteligentes participarem de jogos.

Hoje, essa visão inicial está se concretizando de novas maneiras. Um desenvolvimento notável nos jogos é o uso da visão computacional, um ramo da inteligência artificial (IA). À medida que os jogos se tornam mais dinâmicos e responsivos, a visão computacional permite que as máquinas interpretem e compreendam informações visuais, criando experiências mais imersivas, interativas e personalizadas.

Mais especificamente, modelos de visão computacional como o Ultralytics YOLO11, que oferece suporte a tarefas como detecção e rastreamento de objetos, estão sendo integrados aos jogos para melhorar a interação e a capacidade de resposta em tempo real.

Neste artigo, vamos conhecer melhor como a visão computacional está sendo usada nos jogos para melhorar a experiência dos jogadores e moldar o futuro do entretenimento interativo.

Tendências recentes de IA e visão computacional nos jogos#

Antes de conhecer exemplos de como a visão computacional está sendo usada no setor de jogos eletrônicos, vamos explorar algumas das tendências recentes de IA nessa área.

IA generativa no setor de jogos#

Uma tendência importante é o uso de IA generativa para tornar os personagens dos jogos mais inteligentes e responsivos. Um ótimo exemplo é a criação do primeiro chefe de fase com IA no próximo jogo online MIR5.

Nos jogos, uma batalha contra um chefe costuma ser um confronto desafiador contra um inimigo poderoso, que aparece em momentos importantes, muitas vezes no fim de uma fase ou história. Essas batalhas geralmente testam as habilidades do jogador e são projetadas para ser intensas e gratificantes.

Fig. 1. Um primeiro olhar sobre o primeiro chefe com IA.

Tradicionalmente, os chefes seguem padrões programados e usam sempre o mesmo conjunto de movimentos. Mas, no MIR5, esse novo chefe com IA realmente aprende com os jogadores que enfrenta. Ele observa como os jogadores se comportam, quais armas usam, como se movimentam e quais estratégias adotam; depois, adapta os próprios ataques para manter o desafio da batalha.

Assim, se você voltar para enfrentar o mesmo chefe, ele talvez não aja da mesma maneira. Esse tipo de comportamento adaptativo torna as batalhas mais realistas e obriga os jogadores a reagir na hora, em vez de apenas memorizar padrões.

Visão computacional em jogos de realidade virtual#

Outra tendência de IA nos jogos é o uso crescente da realidade virtual (VR). VR é uma tecnologia que permite aos jogadores entrar em um mundo totalmente digital e tridimensional usando um headset e controles de movimento. Ela cria a sensação de estar dentro do jogo, em vez de apenas assisti-lo em uma tela.

Combinada com a visão computacional, a IA está sendo usada para acompanhar com mais precisão como os jogadores se movimentam e reagem em jogos de VR. Isso envolve o uso de câmeras e sensores para capturar movimentos do mundo real, como virar a cabeça, gesticular com as mãos ou até fazer expressões faciais, e depois converter esses dados em ações no jogo. Isso ajuda a criar experiências mais fluidas e realistas em VR, nas quais seus gestos e movimentos parecem estar realmente conectados ao mundo do jogo.

Exemplos reais de visão computacional nos jogos#

A seguir, vamos conferir algumas maneiras como a visão computacional está sendo usada em jogos populares. Seja para tornar a jogabilidade mais interativa ou para desbloquear novas formas de controlar personagens, a IA visual já está mudando a maneira como jogamos.

Corridas de realidade mista com visão computacional#

Hot Wheels: Rift Rally é um jogo de corrida que combina um carrinho físico controlado remotamente (RC) com uma experiência de jogo virtual. Os jogadores podem dirigir o carrinho RC pela casa, enquanto a tela mostra uma versão digital do veículo realizando manobras, como derrapagens, saltos e acelerações. Embora o carrinho real permaneça no chão, o jogo cria a ilusão de ação em alta velocidade ao sobrepor efeitos visuais a uma transmissão de vídeo ao vivo.

Essa configuração depende de tecnologia de realidade mista (que combina os mundos real e digital, permitindo que elementos físicos e virtuais interajam em tempo real) e de visão computacional para funcionar. O carrinho RC tem uma câmera que mapeia o ambiente enquanto se movimenta. Os jogadores posicionam marcadores visuais (portões de papelão preto e branco), chamados de marcadores fiduciais, pelo cômodo, e o sistema os usa como pontos de referência.

A visão computacional ajuda o jogo a reconhecer esses marcadores, acompanhar a posição do carrinho e criar um mapa virtual do espaço. Isso permite que o jogo posicione com precisão conteúdos digitais, como pistas e obstáculos, no ambiente real, sincronizando o movimento físico com o que aparece na tela.

Fig. 2. O carrinho RC tem uma câmera diante de um marcador fiducial.

Ensinando animais de estimação virtuais com IA de visão#

Peridot, um jogo para dispositivos móveis desenvolvido pela Niantic (a mesma empresa responsável por Pokémon Go, um dos primeiros e mais populares exemplos de visão computacional em um jogo de RA), usa visão computacional e realidade aumentada para fazer com que cuidar de um animal de estimação digital pareça algo integrado ao mundo real.

Os jogadores podem cuidar de uma criatura chamada Peridot, alimentando-a, brincando com ela e levando-a para passear. Enquanto você se movimenta pela casa ou pelo bairro, o animal aparece no seu celular para explorar ao seu lado, correr pelo chão, reagir a objetos e até se esconder atrás de móveis reais.

Para tornar isso possível, o jogo usa técnicas de visão computacional, como mapeamento 3D e segmentação semântica, nas quais o sistema usa a câmera do seu celular para examinar e compreender o ambiente. Isso ajuda o animal de estimação virtual a reconhecer e reagir a diferentes superfícies, como distinguir grama de concreto, ou responder a obstáculos como cadeiras e árvores.

Fig. 3. Uma visão do animal de estimação em Peridot.

Rastreamento das mãos e espaços compartilhados de realidade mista#

Demeo, um RPG de mesa digital (jogo de interpretação de papéis), usa recursos de realidade mista para trazer a jogabilidade para o mundo real por meio de headsets como o Meta Quest 2 e o Quest Pro. Com uma atualização recente, o jogo agora oferece suporte a rastreamento das mãos e colocação conjunta, permitindo que os jogadores usem movimentos naturais das mãos para interagir com as peças do jogo e compartilhar o mesmo espaço físico e digital com outras pessoas em sessões multijogador locais.

Por exemplo, os jogadores podem jogar Demeo enquanto fazem carinho em seu cachorro de verdade — um sinal pequeno, mas significativo, de como a realidade mista pode combinar espaços digitais e físicos. Essas funcionalidades são possibilitadas por tecnologias de visão computacional. O rastreamento das mãos usa as câmeras integradas ao headset para detectar e interpretar os movimentos e a posição das mãos do jogador, eliminando a necessidade de controles tradicionais.

Fig. 4. Exemplo da jogabilidade de Demeo.

Enquanto isso, a colocação conjunta usa âncoras espaciais e dados de nuvens de pontos para mapear o ambiente do mundo real, permitindo que vários headsets sincronizem o mesmo espaço virtual. Isso permite que os jogadores na mesma sala vejam o tabuleiro e uns aos outros nas mesmas posições, criando a sensação de estarem sentados ao redor de uma mesa virtual compartilhada.

Vantagens e desvantagens da visão computacional nos jogos#

A visão computacional está mudando a forma como as pessoas interagem com os jogos, tornando as experiências mais naturais e imersivas. Ela permite que os jogadores usem gestos, movimentos do corpo ou até mesmo o rastreamento ocular para controlar a jogabilidade, além de ajudar os jogos a responderem ao ambiente do mundo real em tempo real. Esses recursos não apenas melhoram a experiência geral, mas também tornam os jogos mais acessíveis a um grupo maior de jogadores.

Ao mesmo tempo, essa tecnologia tem algumas limitações. Ela pode consumir mais bateria e poder de processamento, além de não funcionar tão bem em ambientes com pouca luz ou muito movimentados. Também há considerações importantes sobre privacidade, já que ela costuma depender da entrada de dados das câmeras.

No entanto, com o avanço da tecnologia, os desenvolvedores estão encontrando soluções inteligentes para melhorar o desempenho e lidar com essas preocupações, tornando a visão computacional ainda mais útil e confiável nos jogos.

Principais conclusões#

A visão computacional e a IA estão mudando a forma como os jogos são criados e jogados. Seja ajudando personagens a reagir de maneira mais realista ou tornando a jogabilidade mais conectada ao mundo real, essas tecnologias estão abrindo novas possibilidades. Elas não estão apenas melhorando a aparência dos jogos — estão tornando-os mais inteligentes e envolventes.

De jogos independentes a lançamentos de grandes estúdios, cada vez mais desenvolvedores estão experimentando recursos baseados em visão. À medida que essas ferramentas continuam evoluindo, podemos esperar experiências ainda mais criativas e imersivas no futuro dos jogos.

Explore nossas páginas de soluções para descobrir aplicações de IA na manufatura e visão computacional na área da saúde. Confira nossas opções de licenciamento para começar a desenvolver suas próprias inovações em visão!