Google Genie 3가 AI로 3D 세계를 생생하게 구현합니다

2025년 8월 5일, Google DeepMind는 Genie 3로 알려진 최신 Genie 모델을 공개했습니다. 이는 사용자의 텍스트 프롬프트를 동적이고 상호작용 가능한 환경으로 변환할 수 있는 새로운 AI 모델입니다.

이러한 환경, 즉 AI 세계에서는 사용자가 비디오 게임처럼 실시간으로 환경을 탐색하고 상호작용할 수 있습니다. 또한 사용자는 추가 텍스트 프롬프트를 입력하여 환경을 확장하거나 수정할 수 있으므로, 시뮬레이션을 다시 시작하지 않고도 즉시 변경할 수 있습니다.

최신 Genie Google 모델이 특히 큰 영향력을 발휘하는 이유는 AI 에이전트를 훈련하는 데 사용할 수 있기 때문입니다. 여기에는 데이터와 피드백을 사용하여 AI 에이전트가 의사 결정을 내리거나 작업을 수행하도록 가르치는 과정이 포함됩니다. 실제 세계 대신 시뮬레이션된 3D 환경을 사용하면 연구자들은 실제 환경에서의 훈련에 따르는 여러 문제, 비용, 위험을 피할 수 있습니다.

Google Genie 3는 악천후 속에서 주행하는 자율주행차나 산악 지형을 활강하는 윙슈트 착용자처럼 복잡한 시나리오도 시뮬레이션할 수 있습니다.

이 글에서는 Google Genie 3와 그 기능을 살펴봅니다. 시작해 보겠습니다!

그림 1. 윙슈트 착용자가 활강하는 모습을 보여 주는 Genie 3 시뮬레이션의 한 프레임입니다. (출처)

Google Genie 모델의 간략한 역사#

Google DeepMind의 Genie 모델을 자세히 살펴보기에 앞서, 월드 모델이 무엇인지 더 잘 이해해 보겠습니다.

월드 모델은 텍스트, 이미지, 비디오, 움직임 데이터셋으로부터 물리 법칙, 움직임, 공간적 관계와 같은 실제 세계의 규칙을 학습하는 AI 시스템입니다. 이를 통해 현실적인 장면을 만들고 장면이 어떻게 변화할지 예측할 수 있습니다. Genie 모델은 이러한 시스템의 예입니다.

다음은 Genie 3의 기반을 마련한 초기 Google Genie 모델을 간략히 살펴본 내용입니다.

• Genie 1: 흔히 Google Genie라고만 불리는 Genie 1은 상호작용 가능한 가상 환경을 생성할 수 있는 Google DeepMind 최초의 AI 월드 모델이었습니다. 사용자는 텍스트, 이미지, 사진 또는 스케치로 세계를 설명할 수 있었고, Genie는 이를 생성하여 사용자가 장면 안의 동작을 제어할 수 있도록 했습니다. 이 모델은 시간에 따른 비디오 데이터를 처리하고 다음 프레임을 예측하며 사용자 입력을 실제 세계의 동작으로 변환하도록 설계되었습니다.

• Genie 2: Google Genie의 기능을 발전시킨 Genie 2는 다양하고 세밀한 상호작용형 3D 세계를 생성할 수 있었습니다. 월드 모델인 Genie 2는 가상 환경을 시뮬레이션하고 점프, 수영, 물체 이동과 같은 동작에 현실적으로 반응했습니다. 방대한 비디오 모음으로 학습된 이 모델은 현실적인 물체 상호작용과 생생한 캐릭터 움직임을 구현했습니다.

Genie 3란 무엇인가요? Google의 새로운 AI 모델#

이전 Genie 모델을 기반으로 개발된 Genie 3는 이 시리즈 중 가장 최신이자 가장 발전된 모델입니다. 특히 새로운 가상 환경을 생성할 수 있었던 Genie 2와 Google DeepMind의 최신 비디오 생성 모델인 Veo 3를 기반으로 발전했습니다. Veo 3는 물리 법칙과 실제 세계에서 물체가 상호작용하는 방식을 깊이 이해합니다.

Veo 3는 하드코딩된 물리 엔진을 사용하는 반면, Google Genie 3는 자기지도학습이라는 방법을 사용하여 물리 법칙이 작동하는 방식을 스스로 학습합니다. 이는 AI 모델이 자체적으로 학습 신호를 생성하여 라벨이 없는 데이터에서 패턴과 관계를 학습하는 AI 학습 기법입니다.

Google Genie 3의 자기지도학습 기능은 AI 에이전트나 AI 로봇과 같은 AI 시스템이 다양한 작업을 수행하도록 훈련하는 데 매우 중요합니다. 실제로 Google DeepMind의 연구자들은 Genie 3를 일반 인공지능 (AGI) 구축을 향한 중요한 단계로 보고 있습니다.

그림 2. Google Genie 3를 사용하여 로봇 로버 제어를 시뮬레이션하는 예입니다. (출처)

AGI는 인간처럼 모든 작업이나 주제를 이해하고 학습하며, 그 지식을 다양한 상황에 적용할 수 있는 이론적인 형태의 AI입니다. 특정 작업을 수행하도록 구축되어 새로운 문제에 기술을 전이하는 데 어려움을 겪는 오늘날의 인공지능 모델과 달리, AGI는 폭넓은 맥락에 적응하고 학습할 수 있습니다.

AI 세계 구축과 관련된 Google Genie 3의 주요 기능#

Genie 3가 지원하는 주요 기능은 다음과 같습니다.

• 텍스트를 3D 세계로 생성: 간단한 텍스트 프롬프트(예: “거리를 따라 걷는 로봇”)를 기본적인 움직임 제어 기능이 있는 플레이 가능한 3D와 유사한 환경으로 변환할 수 있습니다.

• 프롬프트로 생성 가능한 세계 이벤트: 사용자는 새로운 명령어(예: 거리에 비 내리기)를 입력하여 환경을 동적으로 변경할 수 있습니다.

• 시각적 기억: Genie 3는 환경에 남겨진 물체를 기억하고 나중에 다시 방문할 수 있도록 하며, 이러한 기억은 약 1분 동안 유지됩니다.

• 매끄럽고 일관된 비디오 출력: 720p 해상도에서 24 fps (초당 프레임 수)의 비디오 출력을 유지할 수 있으며, Genie 2보다 더 오래 상호작용할 수 있습니다.

그림 3. Google Genie 3는 Genie 2가 생성한 출력보다 더 오래 지속되는 출력을 생성할 수 있습니다. (출처)

교육부터 게임까지: Google DeepMind의 Genie 3 활용 사례#

Google Genie 3는 학습, 연구, 훈련을 더욱 몰입감 있고 흥미롭게 만들 수 있습니다. 예를 들어 교실에서는 학생들이 고대 도시를 탐험하거나 우주를 여행할 수 있도록 하여 역사, 과학, 지리를 생생하게 체험하게 할 수 있습니다. 마찬가지로 인공지능 개발자에게는 전략을 연습하고, 문제를 해결하며, 의사 결정 능력을 향상할 수 있는 현실적인 가상 세계를 제공합니다.

과학자들은 이를 활용하여 아이디어를 검증하고 생태계를 연구하거나 물체의 행동을 관찰하기 위한 통제된 시뮬레이션을 만들 수도 있습니다. 또 다른 흥미로운 활용 분야는 비디오 게임 개발입니다. 게임 개발자는 텍스트 프롬프트를 세밀한 게임 세계로 변환하여 개발 속도를 높이고 대규모 팀의 필요성을 줄일 수 있습니다.

그림 4. Genie 3를 사용하면 재미있고 다채로운 상호작용형 게임을 설계할 수 있습니다. (출처)

월드 모델로서 Google Genie 3의 한계#

Google Genie 3는 다양한 기능과 이점을 제공하지만, 단점도 고려하는 것이 중요합니다.

고려해야 할 몇 가지 한계는 다음과 같습니다.

• 제한적인 동작 범위: 가상 세계에서 많은 이벤트를 실행할 수 있지만, 모든 이벤트를 에이전트 자체가 수행하는 것은 아닙니다. 에이전트가 직접 수행할 수 있는 동작은 여전히 제한적입니다.

• 다른 에이전트와의 상호작용: 동일한 환경에 있는 여러 독립 에이전트 간의 현실적인 상호작용을 생성하는 작업은 아직 진행 중입니다.

• 실제 세계의 정확성: Google Genie 3는 아직 실제 위치를 완벽한 지리적 정밀도로 재현할 수 없습니다.

핵심 요점#

Google Genie 3는 AI를 활용하여 현실적이고 상호작용 가능한 3D 세계를 생성하는 데 있어 중요한 발전을 보여 줍니다. 간단한 텍스트 프롬프트만으로 아이디어를 현실화하고, 물리 법칙을 시뮬레이션하며, 안전한 가상 공간에서 AI 시스템을 훈련할 수도 있습니다.

아직 한계가 존재하지만, 연구, 게임, AI 개발을 위한 다양한 가능성을 열어 줍니다. 또한 인간처럼 사고하고 학습할 수 있는 AGI 시스템을 향한 중요한 단계이기도 합니다.

AI에 대해 더 알아보려면 GitHub 저장소를 확인해 보세요. 활발한 커뮤니티에 참여하여 소매업의 AI 및 제조업의 비전 AI와 같은 분야의 혁신을 알아보세요. 지금 바로 컴퓨터 비전을 시작하려면 라이선스 옵션을 확인해 보세요.