AI를 통해 3D 세계를 생생하게 구현하는 Google Genie 3

2025년 8월 5일, Google DeepMind는 Genie 모델의 최신 버전인 Genie 3를 출시했습니다. 이는 사용자의 텍스트 프롬프트를 동적이고 상호작용 가능한 환경으로 변환할 수 있는 새로운 AI 모델입니다.

이러한 환경, 즉 AI 세계를 통해 사용자는 마치 비디오 게임처럼 실시간으로 탐색하고 상호작용할 수 있습니다. 또한 사용자는 추가적인 텍스트 프롬프트를 제공하여 환경을 확장하거나 수정할 수 있으며, 시뮬레이션을 다시 시작하지 않고도 즉석에서 변경 사항을 적용할 수 있습니다.

최신 Genie Google 모델이 특히 영향력 있는 이유는 train AI agents에 사용될 수 있기 때문입니다. 이는 데이터와 피드백을 사용하여 AI agents에게 의사결정을 내리거나 작업을 수행하도록 가르치는 것을 포함합니다. 연구원들은 실제 세계 대신 시뮬레이션된 3D 환경을 사용함으로써 현실 세계 학습의 많은 어려움, 비용, 위험을 피할 수 있습니다.

Google Genie 3는 또한 험한 날씨 속을 운전하는 autonomous car나 산악 지형을 활공하는 윙슈트 테스트와 같은 복잡한 시나리오를 시뮬레이션할 수 있습니다.

이 글에서는 Google Genie 3와 그 기능에 대해 살펴보겠습니다. 시작해 봅시다!

그림 1. 윙슈트 활공을 보여주는 Genie 3 시뮬레이션의 프레임. (Source)

Google Genie 모델의 간략한 역사#

Google DeepMind의 Genie 모델에 대해 알아보기 전에, 월드 모델(world models)이 무엇인지 더 잘 이해해 보도록 합시다.

월드 모델은 텍스트, 이미지, 비디오, 움직임 datasets으로부터 물리학, 동작, 공간 관계와 같은 현실 세계의 규칙을 학습하는 AI 시스템입니다. 이를 통해 사실적인 장면을 만들고 그것이 어떻게 진화할지 predict할 수 있습니다. Genie 모델이 바로 이러한 시스템의 예입니다.

Genie 3의 기반이 된 초기 Google Genie 모델들을 간략히 살펴보겠습니다:

• Genie 1: 흔히 Google Genie로 불리는 Genie 1은 상호작용 가능한 가상 환경을 생성할 수 있는 Google DeepMind의 첫 번째 AI 월드 모델이었습니다. 사용자가 텍스트, 이미지, 사진 또는 스케치로 세계를 묘사하면 Genie가 이를 생성하여 장면 내에서 사용자가 행동을 제어할 수 있게 해주었습니다. 이 모델은 시간 흐름에 따른 비디오 데이터를 처리하고, 다음 프레임을 예측하며, 사용자 입력을 세계 내 행동으로 변환하도록 설계되었습니다.

• Genie 2: Google Genie의 기능을 바탕으로 개발된 Genie 2는 매우 상세하고 상호작용이 가능한 다양한 3D 세계를 생성할 수 있었습니다. 월드 모델로서 가상 환경을 시뮬레이션하고 점프, 수영, 물체 이동과 같은 행동에 현실적으로 반응했습니다. 방대한 비디오 컬렉션으로 학습되었으며, 현실적인 물체 상호작용과 생동감 넘치는 캐릭터 움직임을 특징으로 했습니다.

Genie 3란 무엇인가? Google의 새로운 AI 모델#

이전의 Genie 모델을 기반으로 하는 Genie 3는 시리즈 중 가장 최신이자 가장 진보된 모델입니다. 이 모델은 특히 새로운 가상 환경을 생성할 수 있었던 Genie 2와 Google DeepMind의 최신 동영상 생성 모델인 Veo 3를 기반으로 합니다. Veo 3는 물리학과 현실 세계에서 객체들이 상호 작용하는 방식에 대한 깊은 이해를 보여줍니다.

Veo 3는 하드코딩된 물리 엔진을 사용하는 반면, Google Genie 3는 자기 지도 학습(self-supervised learning)이라는 방법을 사용하여 물리학이 작동하는 방식을 스스로 학습합니다. 이는 AI 모델이 자체적인 학습 신호를 생성하여 레이블이 지정되지 않은 데이터로부터 패턴과 관계를 학습하는 AI learning technique입니다.

Google Genie 3의 자기 지도 학습 기능은 AI 에이전트나 AI 로봇 같은 AI 시스템이 다양한 작업을 처리하도록 훈련하는 데 매우 중요합니다. 실제로 Google DeepMind의 연구원들은 Genie 3를 Artificial General Intelligence (AGI)의 창조를 향한 중요한 단계로 보고 있습니다.

그림 2. 로봇 로버 제어를 시뮬레이션하기 위해 Google Genie 3를 사용하는 예시. (Source)

AGI는 인간처럼 모든 작업이나 주제를 이해하고 학습하며, 그 지식을 다양한 상황에 적용할 수 있는 이론적인 AI 형태입니다. 특정 작업을 위해 구축되어 새로운 문제로 기술을 전이하는 데 어려움을 겪는 오늘날의 AI 모델들과 달리, AGI는 광범위한 맥락에서 적응하고 학습할 수 있을 것입니다.

AI 세계 구축과 관련된 Google Genie 3의 핵심 기능#

Genie 3가 지원하는 몇 가지 핵심 기능은 다음과 같습니다:

• 텍스트-투-3D 세계 생성: 간단한 텍스트 프롬프트(예: “거리를 걷는 로봇”)를 기본적인 이동 제어가 가능한 플레이 가능한 3D 형태의 환경으로 바꿀 수 있습니다.

• 프롬프트 기반의 세계 이벤트: 사용자는 새로운 명령을 입력하여 환경을 동적으로 변경할 수 있습니다(예: 거리에 비가 오게 하기).

• 시각적 기억: Genie 3는 환경 내에 남겨진 물체를 기억하고 나중에 다시 방문할 수 있게 해주며, 이 상태는 약 1분 동안 지속됩니다.

• 부드럽고 일관된 비디오 출력: Genie 2에 비해 더 길어진 참여 시간과 함께 720p 해상도에서 24 fps (frames per second)의 비디오 출력을 유지할 수 있습니다.

그림 3. Google Genie 3는 Genie 2가 생성한 것보다 더 오래 지속되는 출력을 생성할 수 있습니다. (Source)

교육에서 게임까지: Google DeepMind Genie 3의 응용 분야#

Google Genie 3는 학습, 연구, 훈련을 더욱 몰입감 있고 흥미롭게 만들 수 있습니다. 예를 들어 교실에서 학생들이 고대 도시를 탐험하거나 space를 여행할 수 있도록 함으로써 역사, 과학, 지리를 생생하게 전달할 수 있습니다. 마찬가지로 인공지능 개발자에게는 전략을 연습하고, 과제를 해결하며, 의사결정 능력을 향상할 수 있는 현실적인 가상 세계를 제공합니다.

과학자들은 이를 사용하여 아이디어를 테스트하고, 생태계를 연구하며, 객체의 행동을 관찰하기 위한 제어된 시뮬레이션을 만들 수도 있습니다. 또 다른 흥미로운 응용 분야는 비디오 game development입니다. 게임 개발자는 텍스트 프롬프트를 상세한 게임 월드로 변환하여 개발을 가속화하고 대규모 팀의 필요성을 줄일 수 있습니다.

그림 4. Genie 3를 사용하여 재미있고 다채로우며 상호작용이 가능한 게임을 디자인할 수 있습니다. (Source)

월드 모델로서의 Google Genie 3의 한계#

Google Genie 3는 많은 기능과 이점을 제공하지만, 단점 또한 고려하는 것이 중요합니다.

고려해야 할 몇 가지 제한 사항은 다음과 같습니다:

• 제한된 행동 범위: 가상 세계에서 많은 이벤트를 트리거할 수는 있지만, 그 모든 것이 에이전트 자체에 의해 수행되는 것은 아닙니다. 에이전트가 직접 수행할 수 있는 행동은 여전히 제한적입니다.

• 다른 에이전트와의 상호작용: 동일한 환경 내에서 여러 독립적인 에이전트 간의 현실적인 상호작용을 만드는 것은 아직 진행 중인 작업입니다.

• 실제 세계 정확도: Google Genie 3는 아직 실제 위치를 완벽한 지리적 정밀도로 재현할 수 없습니다.

핵심 요약#

Google Genie 3는 AI를 통해 현실적이고 상호작용 가능한 3D 세계를 만드는 데 있어 중요한 발전을 나타냅니다. 이는 간단한 텍스트 프롬프트로부터 아이디어를 현실화하고, 물리학을 시뮬레이션하며, 심지어 안전한 가상 공간에서 AI 시스템을 학습시킬 수도 있습니다.

아직 한계는 있지만, 연구, 게임 및 AI 개발을 위한 많은 가능성을 열어줍니다. 또한 인간처럼 생각하고 배울 수 있는 AGI 시스템을 향한 중요한 단계이기도 합니다.

AI에 대해 더 자세히 알아보려면 저희 GitHub repository를 확인해 보세요. 활기찬 community에 참여하여 AI in the retail 산업 및 vision AI in manufacturing과 같은 부문의 혁신을 만나보세요. 오늘 바로 computer vision을 시작하려면 저희 licensing options을 확인해 보세요.