Visão computacional em jogos: Elevando o nível da experiência do jogador

Os jogos evoluíram muito — de aventuras simples e pixeladas aos mundos massivos e imersivos que os jogadores exploram hoje. Na verdade, a ideia de que uma máquina poderia pensar, ou até mesmo jogar, foi considerada seriamente pela primeira vez na década de 1940.

Naquela época, uma máquina criada pelo físico Edward U. Condon foi exibida na Feira Mundial. Ela conseguia jogar Nim, um jogo matemático de estratégia onde dois jogadores se revezam removendo objetos de diferentes pilhas, e o objetivo é evitar pegar o último. A máquina jogou milhares de partidas contra visitantes e venceu a grande maioria, despertando o interesse inicial na possibilidade de máquinas inteligentes participarem de jogos.

Hoje, aquela visão inicial está ganhando vida de novas maneiras. Um dos desenvolvimentos mais empolgantes nos jogos é o uso de visão computacional, um ramo da inteligência artificial (IA). À medida que os jogos se tornam mais dinâmicos e responsivos, a visão computacional permite que as máquinas interpretem e entendam informações visuais, criando experiências mais imersivas, interativas e personalizadas.

Especificamente, modelos de visão computacional como o Ultralytics YOLO11, conhecido por seu suporte a tarefas como detecção e rastreamento de objetos, estão sendo integrados aos jogos para aprimorar a interação e a capacidade de resposta em tempo real.

Neste artigo, veremos mais de perto como a visão computacional está sendo usada nos jogos para aprimorar a experiência do jogador e moldar o futuro do entretenimento interativo. Vamos começar!

Link to this sectionTendências recentes de IA e visão computacional nos jogos#

Antes de mergulharmos em exemplos de como a visão computacional está sendo usada na indústria de jogos eletrônicos, vamos explorar algumas das tendências recentes de IA nesse espaço.

Link to this sectionIA generativa na indústria de jogos#

Uma tendência importante é o uso de IA generativa para tornar os personagens dos jogos mais inteligentes e responsivos. Um ótimo exemplo é a criação do primeiro chefão movido a IA no próximo jogo online MIR5.

Nos jogos, uma luta contra um chefão é tipicamente uma batalha desafiadora contra um inimigo poderoso que aparece em momentos-chave, muitas vezes no final de um nível ou enredo. Essas lutas geralmente testam as habilidades do jogador e são projetadas para serem intensas e gratificantes.

Fig 1. Um olhar sobre o primeiro chefão de IA.

Tradicionalmente, os personagens chefões seguem padrões roteirizados, usando o mesmo conjunto de movimentos todas as vezes. Mas no MIR5, esse novo chefão de IA realmente aprende com os jogadores que enfrenta. Ele observa como os jogadores se comportam, quais armas usam, como se movem e em quais estratégias confiam, e então adapta seus próprios ataques para manter a batalha desafiadora.

Portanto, se você voltar para lutar contra o mesmo chefão novamente, ele pode não agir da mesma forma duas vezes. Esse tipo de comportamento adaptativo torna as batalhas mais realistas, forçando os jogadores a pensarem rápido em vez de apenas memorizar padrões.

Link to this sectionVisão computacional em jogos de VR#

Outra tendência de IA nos jogos é o uso crescente de realidade virtual (VR). A VR é um tipo de tecnologia que permite que os jogadores entrem em um mundo digital 3D completo usando um headset e controles de movimento. Ela cria a sensação de estar dentro do jogo, em vez de apenas assistir a ele em uma tela.

Combinada com a visão computacional, a IA está sendo usada para rastrear como os jogadores se movem e reagem com mais precisão em jogos de VR. Isso envolve o uso de câmeras e sensores para capturar movimentos do mundo real, como viradas de cabeça, gestos com as mãos ou até expressões faciais, e então traduzir esses dados em ações dentro do jogo. Isso ajuda a criar experiências mais suaves e realistas em VR, onde seus gestos e movimentos parecem verdadeiramente conectados ao mundo do jogo.

Link to this sectionExemplos do mundo real de visão computacional nos jogos#

A seguir, vamos dar uma olhada em algumas maneiras empolgantes pelas quais a visão computacional está sendo usada em jogos eletrônicos populares. Seja tornando a jogabilidade mais interativa ou desbloqueando novas maneiras de controlar personagens, a IA visual já está mudando a forma como jogamos.

Link to this sectionCorrida em realidade mista usando visão computacional#

Hot Wheels: Rift Rally é um jogo de corrida que combina um carro físico de controle remoto (RC) com jogabilidade virtual. Os jogadores podem dirigir o carro RC pela sua sala, enquanto a tela mostra uma versão digital do carro realizando manobras como drifts, saltos e impulsos. Embora o carro real permaneça no chão, o jogo cria a ilusão de ação em alta velocidade ao sobrepor efeitos visuais em um feed de vídeo ao vivo.

Essa configuração depende da tecnologia de realidade mista (ela mistura mundos reais e digitais, permitindo que elementos físicos e virtuais interajam em tempo real) e da visão computacional para fazer a experiência funcionar. O carro RC é equipado com uma câmera que escaneia o ambiente à medida que ele se move. Os jogadores colocam marcadores visuais (portões de papelão pretos e brancos), chamados de marcadores fiduciais, pela sala, que o sistema usa como pontos de referência.

A visão computacional ajuda o jogo a reconhecer esses marcadores, rastrear a localização do carro e criar um mapa virtual do espaço. Isso permite que o jogo coloque com precisão conteúdo digital, como pistas e obstáculos, dentro do ambiente do mundo real, sincronizando o movimento físico com o que é mostrado na tela.

Fig 2. O carro RC é equipado com uma câmera em frente a um marcador fiducial.

Link to this sectionEnsinando animais de estimação virtuais usando IA visual#

Peridot, um jogo móvel desenvolvido pela Niantic (a mesma empresa por trás de Pokémon Go, um dos exemplos mais antigos e populares de visão computacional em um jogo de RA), usa visão computacional e realidade aumentada para tornar o ato de cuidar de um animal de estimação digital algo baseado no mundo real.

Os jogadores podem cuidar de uma criatura chamada Peridot alimentando-a, jogando e levando-a para passear. Conforme você se move pela sua casa ou pelo bairro, o pet aparece no seu celular para explorar com você, correndo pelo chão, reagindo a objetos e até se escondendo atrás de móveis reais.

Para tornar isso possível, o jogo usa técnicas de visão computacional como mapeamento 3D e segmentação semântica, onde o sistema usa a câmera do seu telefone para escanear e entender o ambiente. Isso ajuda o pet a reconhecer e responder a diferentes superfícies, como distinguir grama de concreto ou reagir a obstáculos como cadeiras e árvores.

Fig 3. Um vislumbre de um pet em Peridot.

Link to this sectionRastreamento de mãos e espaços compartilhados de realidade mista#

Demeo, um RPG (jogo de interpretação de papéis) de mesa digital, usa recursos de realidade mista para trazer sua jogabilidade para o mundo real através de headsets como o Meta Quest 2 e o Quest Pro. Com uma atualização recente, o jogo agora oferece suporte ao rastreamento de mãos e colocalização, tornando possível que os jogadores usem movimentos naturais das mãos para interagir com as peças do jogo e compartilhem o mesmo espaço físico e digital com outros em sessões de multijogador local.

Por exemplo, os jogadores podem jogar Demeo enquanto fazem carinho no seu cachorro real — um sinal pequeno, mas significativo, de como a realidade mista pode misturar espaços digitais e físicos. Esses recursos são habilitados por tecnologias de visão computacional. O rastreamento de mãos funciona usando as câmeras embutidas do headset para detectar e interpretar o movimento e a posição das mãos do jogador, eliminando a necessidade de controles tradicionais.

Fig 4. Um exemplo da jogabilidade do Demeo.

Enquanto isso, a colocalização usa âncoras espaciais e dados de nuvem de pontos para mapear o ambiente do mundo real, de modo que vários headsets possam sincronizar o mesmo espaço virtual. Isso permite que os jogadores na mesma sala vejam o tabuleiro do jogo e uns aos outros nas mesmas posições, criando o efeito de sentar ao redor de uma mesa de jogo virtual compartilhada.

Link to this sectionPrós e contras da visão computacional nos jogos#

A visão computacional está mudando a maneira como as pessoas interagem com os jogos, tornando as experiências mais naturais e imersivas. Ela permite que os jogadores usem gestos, movimentos corporais ou até mesmo rastreamento ocular para controlar a jogabilidade, ajudando os jogos a responder ao ambiente do mundo real em tempo real. Esses recursos não apenas aprimoram a experiência geral, mas também tornam os jogos mais acessíveis a uma gama maior de jogadores.

Ao mesmo tempo, a tecnologia tem algumas limitações. Ela pode consumir mais bateria e poder de processamento, e pode não funcionar tão bem com pouca luz ou em ambientes muito movimentados. Também há considerações importantes sobre privacidade, uma vez que geralmente depende da entrada da câmera.

No entanto, à medida que a tecnologia avança, os desenvolvedores estão encontrando soluções inteligentes para melhorar o desempenho e lidar com essas preocupações — tornando a visão computacional ainda mais útil e confiável nos jogos.

Link to this sectionPrincipais pontos#

A visão computacional e a IA estão mudando a maneira como os jogos são feitos e jogados. Seja ajudando os personagens a responder de forma mais realista ou tornando a jogabilidade mais conectada ao mundo real, essas tecnologias estão abrindo possibilidades empolgantes. Elas não estão apenas fazendo os jogos parecerem melhores — estão tornando-os mais inteligentes e envolventes.

De títulos independentes a lançamentos de grandes estúdios, estamos vendo mais desenvolvedores experimentarem recursos baseados em visão. À medida que essas ferramentas continuam a crescer, podemos esperar experiências ainda mais criativas e imersivas no futuro dos jogos.

Explore nossas páginas de soluções para descobrir aplicações de IA na manufatura e visão computacional na saúde. Confira nossas opções de licenciamento para começar a criar suas próprias inovações de visão!