World Model
Модель мира — это система ИИ, которая учится тому, как меняется окружающая среда и как на неё влияют действия. Благодаря этому агенты могут представлять возможные результаты и планировать действия до их выполнения.
Модель мира — это обученная модель изменений среды во времени и в ответ на действия. Получив текущее состояние или историю наблюдений вместе с действием, она предсказывает, что произойдёт дальше: следующее наблюдение, компактное внутреннее состояние, вознаграждение или последовательность будущих шагов. Агент с моделью мира может представить результаты действий до их выполнения, планировать, сравнивая воображаемые варианты будущего, и обучаться на смоделированном опыте, а не только на реальных пробах и ошибках. Эта идея возникла в модельном управлении и обучении с подкреплением, а статья David Ha и Jürgen Schmidhuber «Модели мира» 2018 года популяризировала термин применительно к нейронным сетям, которые учатся сжимать симулятор игры по пикселям и обучают политику внутри его «сна». Сегодня термин охватывает модели внутренней динамики агентов вроде Dreamer и MuZero, интерактивные генераторы видео вроде Genie 3 от Google DeepMind и базовые модели мира, создающие видео для обучения Physical AI.
Как работают модели мира#
Модель мира обычно состоит из трёх частей. Энкодер сжимает каждое наблюдение высокой размерности, например кадр камеры, в компактное латентное состояние. Модель динамики предсказывает следующее латентное состояние по текущему и действию, часто одновременно предсказывая вознаграждение и завершение эпизода. Необязательный декодер преобразует латентные состояния обратно в изображения для обучения или визуализации того, что представляет модель. Ha и Schmidhuber построили эти компоненты на основе вариационного автоэнкодера, рекуррентной сети, предсказывающей следующее латентное состояние, и небольшого линейного контроллера, обученного на латентных представлениях.
Агент использует модель двумя способами. При планировании он прокручивает в модели возможные последовательности действий, оценивает воображаемые результаты и выполняет лучший вариант — как в модельно-прогнозирующем управлении или поиске по дереву MuZero. Этот код на PyTorch обучает модель мира для простой тележки на случайных переходах и планирует в воображении последовательность из 20 толчков:
import torch
from torch import nn
torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])
# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin() # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")Код выводит chosen plan: imagined final position 3.00, real final position 2.93. Агент выбрал план, не взаимодействуя с реальной тележкой, а отклонение 0,07 — это ошибка модели, накопившаяся за 20 воображаемых шагов. За длинные последовательности моделирования небольшие ошибки накапливаются, поэтому практические планировщики пересчитывают план после каждого шага и ограничивают горизонт моделирования.
При обучении на воображаемых сценариях агент обучает свою политику на траекториях, созданных внутри модели. DreamerV3, опубликованная в журнале Nature в 2025 году, чередует сбор реального опыта, улучшение модели мира и обучение актёра и критика исключительно на воображаемых траекториях:
С одним набором гиперпараметров DreamerV3 превзошла специализированные методы более чем на 150 задачах и стала первым алгоритмом, который с нуля добыл алмазы в Minecraft без данных от людей и учебных программ.
Виды моделей мира#
- Модели динамики для агентов: Dreamer предсказывает будущие латентные состояния, вознаграждения и завершения эпизодов. MuZero предсказывает только то, что нужно для планирования: вознаграждение, политику и ценность, — и благодаря поиску по дереву Монте-Карло сравнялась с AlphaZero в го, шахматах и сёги, не зная правил этих игр.
- Интерактивные видеомодели: Genie — модель с 11 миллиардами параметров, обученная на видеозаписях из интернета без разметки, на которых показаны двумерные платформенные игры. Она освоила собственные латентные действия и превращает изображение, фотографию или набросок в управляемый игровой мир. Genie 3 генерирует миры, по которым пользователи могут перемещаться в реальном времени с частотой 24 кадра в секунду и разрешением 720p; согласованность сохраняется в течение нескольких минут.
- Базовые модели мира: Cosmos от NVIDIA предоставляет модели с открытыми весами, которые предсказывают будущее видео по тексту, изображениям или предыдущим кадрам и предназначены для последующего обучения на конкретных роботах и автомобилях.
- Модели предсказания эмбеддингов: Архитектура совместного предсказания эмбеддингов (JEPA) предсказывает представление будущего или отсутствующего содержимого, а не его пиксели, поэтому не тратит ресурсы на непредсказуемые детали, например точный рисунок движущихся листьев.
Модели мира с фокусом на объекты представляют сцену как набор объектов и предсказывают движение каждого из них. Ultralytics YOLO26 в режиме отслеживания преобразует видео в такое представление состояния: рамки каждого объекта, связанные между кадрами с помощью постоянных идентификаторов.
Мировые модели и смежные понятия#
- Генерация видео: Генератор видео создает правдоподобный ролик по запросу. Мировая модель предсказывает последствия действий, поэтому должна правильно реагировать на изменение действия. OpenAI описывала генераторы видео как потенциальные симуляторы мира, а модели вроде Genie 3, которые принимают пользовательские команды покадрово, занимают промежуточное положение.
- Обучение с подкреплением без модели: Агенты без модели напрямую учатся политике или функции ценности на реальном опыте, не предсказывая изменения среды. Агенты с моделью учатся строить мировую модель и повторно используют ее для планирования или генерации обучающего опыта, что обычно требует гораздо меньше реальных взаимодействий.
- Симуляторы и цифровые двойники: Физические движки и цифровые двойники инженеры создают на основе уравнений, CAD-моделей и измеренных параметров. Мировая модель обучается на данных, поэтому может учитывать эффекты, которые сложно описать уравнениями, например складывание ткани или реакцию пешеходов на дорожное движение.
- Большие языковые модели: Языковая модель предсказывает следующий текстовый токен. Модель мира предсказывает следующее состояние среды, обычно используя видео, данные датчиков и действия.
Примеры применения в реальных условиях#
- Автономное вождение: GAIA-1 от Wayve генерирует видео поездок на основе предыдущего видео, текста и действий автомобиля, которым управляет система. Мировая модель Waymo, созданная на базе Genie 3 и анонсированная в феврале 2026 года, генерирует данные и с камер, и с лидара, чтобы симулировать ситуации, которые автопарк никогда не записывал, например торнадо или слона на дороге.
- Игры и интерактивные медиа: Интерактивные видеомодели превращают текстовый запрос или изображение в мир, который можно исследовать и который реагирует на ввод с клавиатуры.
- Робототехника: Модель V-JEPA 2 от Meta предварительно обучили на более чем 1 миллионе часов интернет-видео. Ее версия с учетом действий, V-JEPA 2-AC, прошла дополнительное обучение на менее чем 62 часах видео роботов без разметки, после чего научилась брать и перекладывать предметы с помощью манипуляторов Franka в двух новых лабораториях, планируя действия относительно целевых изображений. Для этого не собирали данные ни с этих роботов, ни из этих сред.










