게임에서의 컴퓨터 비전: 플레이어 경험의 레벨업

게임 산업에서의 제너레이티브 AI

주요 트렌드 중 하나는 게임 캐릭터를 더욱 지능적이고 반응성 있게 만들기 위해 제너레이티브 AI를 사용하는 것입니다. 곧 출시될 온라인 게임 MIR5에서 최초의 AI 기반 보스가 탄생한 것이 좋은 예입니다.

게임에서 보스전은 일반적으로 게임의 중요한 순간에 등장하는 강력한 적과의 전투로, 레벨이나 스토리의 마지막에 주로 등장합니다. 이러한 전투는 일반적으로 플레이어의 실력을 테스트하며 강렬하고 보람을 느낄 수 있도록 설계됩니다.

‍

일반적으로 보스 캐릭터는 매번 같은 동작을 사용하는 스크립트 패턴을 따릅니다. 하지만 MIR5의 새로운 AI 보스는 실제로 플레이어를 통해 학습합니다. 플레이어가 어떻게 행동하는지, 어떤 무기를 사용하는지, 어떻게 움직이는지, 어떤 전략에 의존하는지 관찰한 다음 자신의 공격을 조정하여 전투를 계속 도전적으로 만듭니다. 

따라서 같은 보스와 다시 싸울 때 두 번 다시 같은 방식으로 행동하지 않을 수 있습니다. 이러한 적응형 행동은 전투를 더욱 현실감 있게 만들어 플레이어가 단순히 패턴을 외우는 것이 아니라 발로 뛰며 생각하게 만듭니다.

VR 게임에서의 컴퓨터 비전

게임에서의 또 다른 AI 트렌드는 가상현실(VR)의 사용 증가입니다. VR은 헤드셋과 모션 컨트롤을 사용하여 플레이어가 완전한 디지털 3D 세계로 들어갈 수 있게 해주는 기술 유형입니다. 화면으로만 보는 것이 아니라 게임 안에 있는 듯한 느낌을 줍니다. 

컴퓨터 비전과 결합된 AI는 VR 게임에서 플레이어가 어떻게 움직이고 반응하는지 더 정확하게 추적하는 데 사용되고 있습니다. 여기에는 카메라와 센서를 사용하여 고개 돌리기, 손짓, 얼굴 표정 등 실제 움직임을 캡처한 다음 해당 데이터를 게임 내 동작으로 변환하는 작업이 포함됩니다. 이를 통해 사용자의 제스처와 움직임이 게임 세계와 진정으로 연결된 것처럼 느껴지는 더욱 부드럽고 생생한 VR 환경을 만들 수 있습니다.

컴퓨터 비전을 사용한 혼합 현실 레이싱

핫 휠: 리프트 랠리는 실제 원격 조종(RC) 자동차와 가상 게임 플레이를 결합한 레이싱 게임입니다. 플레이어는 자신의 생활 공간 주변에서 RC 자동차를 운전할 수 있으며, 화면에는 드리프트, 점프, 부스트 등의 스턴트를 수행하는 자동차의 디지털 버전이 표시됩니다. 실제 자동차는 지상에 있지만, 게임은 라이브 비디오 피드 위에 시각 효과를 오버레이하여 고속 액션의 착각을 불러일으킵니다.

이 설정은 혼합 현실 기술 (현실 세계와 디지털 세계를 혼합하여 물리적 요소와 가상 요소가 실시간으로 상호 작용할 수 있도록 함)과 컴퓨터 비전을 사용하여 체험을 구현합니다. RC 자동차에는 이동하면서 주변 환경을 스캔하는 카메라가 장착되어 있습니다. 플레이어는 신뢰 마커라고 하는 시각적 마커(흑백 판지 문)를 방 주위에 배치하면 시스템이 이를 기준점으로 사용합니다. 

컴퓨터 비전은 게임에서 이러한 마커를 인식하고 자동차의 위치를 추적하며 공간의 가상 지도를 구축하는 데 도움이 됩니다. 이를 통해 게임에서 트랙이나 장애물과 같은 디지털 콘텐츠를 실제 환경 내에 정확하게 배치하여 실제 움직임을 화면에 표시되는 것과 동기화할 수 있습니다.

‍

Vision AI를 사용하여 가상 애완동물 교육하기

AR 게임에서 컴퓨터 비전의 최초이자 가장 인기 있는 사례 중 하나인 포켓몬 고의 개발사 Niantic에서 개발한 모바일 게임인 페리닷은 컴퓨터 비전과 증강 현실을 사용하여 디지털 애완동물을 돌보는 것이 현실 세계에 있는 것처럼 느껴지도록 합니다. 

플레이어는 페리도트라는 생명체에게 먹이를 주고, 게임을 하고, 산책을 시켜주며 돌볼 수 있습니다. 집이나 동네를 돌아다닐 때 페리닷이 휴대폰에 나타나 바닥을 뛰어다니고, 사물에 반응하고, 실제 가구 뒤에 숨는 등 사용자와 함께 탐험할 수 있습니다.

이를 가능하게 하기 위해 이 게임은 3D 매핑 및 시맨틱 분할과 같은 컴퓨터 비전 기술을 사용하여 시스템이 휴대폰의 카메라를 사용하여 환경을 스캔하고 이해합니다. 이를 통해 반려동물이 잔디와 콘크리트를 구분하거나 의자나 나무와 같은 장애물에 반응하는 등 다양한 표면을 인식하고 반응할 수 있습니다. 

‍

손 추적 및 혼합 현실 공간 공유

디지털 테이블탑 RPG(롤플레잉 게임)인 데모는 혼합 현실 기능을 사용하여 메타 퀘스트 2 및 퀘스트 프로와 같은 헤드셋을 통해 게임 플레이를 현실 세계로 가져옵니다. 최근 업데이트를 통해 손 추적 및 코로케이션 기능을 지원하여 플레이어가 자연스러운 손동작으로 게임 조각과 상호작용하고 로컬 멀티플레이 세션에서 다른 플레이어와 동일한 물리적 및 디지털 공간을 공유할 수 있게 되었습니다.

예를 들어, 플레이어는 실제 개를 쓰다듬으며 데모를 플레이할 수 있는데, 이는 혼합 현실이 디지털 공간과 물리적 공간을 어떻게 혼합할 수 있는지를 보여주는 작지만 의미 있는 예시입니다. 이러한 기능은 컴퓨터 비전 기술을 통해 구현됩니다. 손 추적은 헤드셋에 내장된 카메라가 플레이어의 손의 움직임과 위치를 감지하고 해석하는 방식으로 작동하므로 기존 컨트롤러가 필요 없습니다. 

‍

한편, 코로케이션은 공간 앵커와 포인트 클라우드 데이터를 사용하여 실제 환경을 매핑하여 여러 헤드셋이 동일한 가상 공간을 동기화할 수 있도록 합니다. 이를 통해 같은 방에 있는 플레이어가 같은 위치에 있는 게임 보드와 서로를 볼 수 있어 공유된 가상 테이블에 둘러앉은 것과 같은 효과를 낼 수 있습니다.