AI를 통해 3D 세계를 생생하게 구현하는 Google Genie 3

2025년 8월 5일, Google DeepMind는 Genie 모델의 최신 버전인 Genie 3를 출시했습니다. 이는 사용자의 텍스트 프롬프트를 동적이고 상호작용 가능한 환경으로 변환할 수 있는 새로운 AI 모델입니다.

이러한 환경, 즉 AI 세계를 통해 사용자는 마치 비디오 게임처럼 실시간으로 탐색하고 상호작용할 수 있습니다. 또한 사용자는 추가적인 텍스트 프롬프트를 제공하여 환경을 확장하거나 수정할 수 있으며, 시뮬레이션을 다시 시작하지 않고도 즉석에서 변경 사항을 적용할 수 있습니다.

최신 Genie Google 모델이 특히 영향력 있는 이유는 AI 에이전트를 학습(train)하는 데 사용할 수 있기 때문입니다. 여기에는 AI 에이전트(AI agents)가 데이터와 피드백을 사용하여 결정을 내리거나 작업을 수행하도록 가르치는 과정이 포함됩니다. 실제 환경 대신 시뮬레이션된 3D 환경을 사용함으로써 연구자들은 실제 환경 학습에서 발생하는 많은 문제, 비용 및 위험을 피할 수 있습니다.

Google Genie 3는 악천후 속에서 주행하는 자율주행차나 산악 지형을 활강하는 윙수트와 같은 복잡한 시나리오를 시뮬레이션할 수도 있습니다.

이 글에서는 Google Genie 3와 그 기능에 대해 살펴보겠습니다. 시작해 봅시다!

그림 1. 윙수트 활강을 보여주는 Genie 3 시뮬레이션의 한 프레임. (출처)

Link to this sectionGoogle Genie 모델의 간략한 역사#

Google DeepMind의 Genie 모델에 대해 알아보기 전에, 월드 모델(world models)이 무엇인지 더 잘 이해해 보도록 합시다.

월드 모델은 텍스트, 이미지, 비디오 및 움직임 데이터셋으로부터 물리, 운동, 공간 관계와 같은 실제 세계의 규칙을 학습하는 AI 시스템입니다. 이를 통해 모델은 현실적인 장면을 생성하고 장면이 어떻게 진화할지 예측할 수 있습니다. Genie 모델은 이러한 시스템의 예입니다.

Genie 3의 기반이 된 초기 Google Genie 모델들을 간략히 살펴보겠습니다:

• Genie 1: 흔히 Google Genie로 불리는 Genie 1은 상호작용 가능한 가상 환경을 생성할 수 있는 Google DeepMind의 첫 번째 AI 월드 모델이었습니다. 사용자가 텍스트, 이미지, 사진 또는 스케치로 세계를 묘사하면 Genie가 이를 생성하여 장면 내에서 사용자가 행동을 제어할 수 있게 해주었습니다. 이 모델은 시간 흐름에 따른 비디오 데이터를 처리하고, 다음 프레임을 예측하며, 사용자 입력을 세계 내 행동으로 변환하도록 설계되었습니다.

• Genie 2: Google Genie의 기능을 바탕으로 개발된 Genie 2는 매우 상세하고 상호작용이 가능한 다양한 3D 세계를 생성할 수 있었습니다. 월드 모델로서 가상 환경을 시뮬레이션하고 점프, 수영, 물체 이동과 같은 행동에 현실적으로 반응했습니다. 방대한 비디오 컬렉션으로 학습되었으며, 현실적인 물체 상호작용과 생동감 넘치는 캐릭터 움직임을 특징으로 했습니다.

Link to this sectionGenie 3란 무엇인가? Google의 새로운 AI 모델#

이전의 Genie 모델을 기반으로 하는 Genie 3는 이 시리즈 중 가장 최첨단 모델입니다. 특히 새로운 가상 환경을 생성할 수 있었던 Genie 2와 Google DeepMind의 최신 비디오 생성 모델인 Veo 3를 기반으로 구축되었습니다. Veo 3는 물리학과 실제 세계에서의 물체 상호작용 방식에 대한 깊은 이해를 보여줍니다.

Veo 3가 하드코딩된 물리 엔진을 사용하는 반면, Google Genie 3는 자기지도 학습(self-supervised learning)이라는 방식을 사용하여 물리학의 작동 원리를 스스로 학습합니다. 이는 AI 모델이 스스로 학습 신호를 생성함으로써 레이블이 지정되지 않은 데이터로부터 패턴과 관계를 학습하는 AI 학습 기법입니다.

Google Genie 3의 자기지도 학습 능력은 AI 에이전트나 AI 로봇과 같은 AI 시스템이 다양한 작업을 처리하도록 학습시키는 데 매우 중요합니다. 실제로 Google DeepMind의 연구자들은 Genie 3를 인공 일반 지능(AGI) 구현을 향한 중요한 단계로 보고 있습니다.

그림 2. Google Genie 3를 사용하여 로봇 로버 제어를 시뮬레이션하는 예시. (출처)

AGI는 인간처럼 모든 작업이나 주제를 이해하고 학습하며, 그 지식을 다양한 상황에 적용할 수 있는 이론적인 AI 형태입니다. 특정 작업을 위해 구축되어 새로운 문제로 기술을 전이하는 데 어려움을 겪는 오늘날의 AI 모델들과 달리, AGI는 광범위한 맥락에서 적응하고 학습할 수 있을 것입니다.

Link to this sectionAI 세계 구축과 관련된 Google Genie 3의 핵심 기능#

Genie 3가 지원하는 몇 가지 핵심 기능은 다음과 같습니다:

• 텍스트-투-3D 세계 생성: 간단한 텍스트 프롬프트(예: “거리를 걷는 로봇”)를 기본적인 이동 제어가 가능한 플레이 가능한 3D 형태의 환경으로 바꿀 수 있습니다.

• 프롬프트 기반의 세계 이벤트: 사용자는 새로운 명령을 입력하여 환경을 동적으로 변경할 수 있습니다(예: 거리에 비가 오게 하기).

• 시각적 기억: Genie 3는 환경 내에 남겨진 물체를 기억하고 나중에 다시 방문할 수 있게 해주며, 이 상태는 약 1분 동안 지속됩니다.

• 부드럽고 일관된 비디오 출력: 720p 해상도에서 24 fps(초당 프레임 수)의 비디오 출력을 유지할 수 있으며, Genie 2에 비해 더 긴 참여 시간을 제공합니다.

그림 3. Google Genie 3는 Genie 2보다 더 오래 지속되는 출력을 생성할 수 있습니다. (출처)

Link to this section교육에서 게임까지: Google DeepMind Genie 3의 응용 분야#

Google Genie 3는 학습, 연구 및 교육을 더욱 몰입감 있고 매력적으로 만들 수 있습니다. 예를 들어 교실에서는 학생들이 고대 도시를 탐험하거나 우주를 여행하게 함으로써 역사, 과학, 지리를 생생하게 전달할 수 있습니다. 마찬가지로 인공 지능 개발자에게는 전략을 연습하고, 도전 과제를 해결하며, 의사 결정 능력을 향상시킬 수 있는 현실적인 가상 세계를 제공합니다.

과학자들은 아이디어를 테스트하고, 생태계를 연구하거나, 물체의 행동을 관찰하기 위해 통제된 시뮬레이션을 생성하는 데 이를 사용할 수도 있습니다. 또 다른 흥미로운 응용 분야는 비디오 게임 개발입니다. 게임 개발자는 텍스트 프롬프트를 상세한 게임 세계로 바꿀 수 있어 개발 속도를 높이고 대규모 팀의 필요성을 줄일 수 있습니다.

그림 4. Genie 3를 사용하여 재미있고 다채로우며 상호작용 가능한 게임을 설계할 수 있습니다. (출처)

Link to this section월드 모델로서의 Google Genie 3의 한계#

Google Genie 3는 많은 기능과 이점을 제공하지만, 단점 또한 고려하는 것이 중요합니다.

고려해야 할 몇 가지 제한 사항은 다음과 같습니다:

• 제한된 행동 범위: 가상 세계에서 많은 이벤트를 트리거할 수는 있지만, 그 모든 것이 에이전트 자체에 의해 수행되는 것은 아닙니다. 에이전트가 직접 수행할 수 있는 행동은 여전히 제한적입니다.

• 다른 에이전트와의 상호작용: 동일한 환경 내에서 여러 독립적인 에이전트 간의 현실적인 상호작용을 만드는 것은 아직 진행 중인 작업입니다.

• 실제 세계 정확도: Google Genie 3는 아직 실제 위치를 완벽한 지리적 정밀도로 재현할 수 없습니다.

Link to this section핵심 요약#

Google Genie 3는 AI를 통해 현실적이고 상호작용 가능한 3D 세계를 만드는 데 있어 중요한 발전을 나타냅니다. 이는 간단한 텍스트 프롬프트로부터 아이디어를 현실화하고, 물리학을 시뮬레이션하며, 심지어 안전한 가상 공간에서 AI 시스템을 학습시킬 수도 있습니다.

아직 한계는 있지만, 연구, 게임 및 AI 개발을 위한 많은 가능성을 열어줍니다. 또한 인간처럼 생각하고 배울 수 있는 AGI 시스템을 향한 중요한 단계이기도 합니다.

AI에 대해 더 알아보려면 당사의 GitHub 저장소를 확인하십시오. 활발한 커뮤니티에 참여하여 소매업 분야의 AI 및 제조업 분야의 비전 AI와 같은 분야의 혁신을 발견해 보십시오. 지금 바로 컴퓨터 비전을 시작하려면 당사의 라이선스 옵션을 확인해 보시기 바랍니다.