Лицензия YOLO
Назад к глоссарию Ultralytics

World Model

Модель мира — это система ИИ, которая учится тому, как меняется окружающая среда и как на неё влияют действия. Благодаря этому агенты могут представлять возможные результаты и планировать действия до их выполнения.

Модель мира — это обученная модель изменений среды во времени и в ответ на действия. Получив текущее состояние или историю наблюдений вместе с действием, она предсказывает, что произойдёт дальше: следующее наблюдение, компактное внутреннее состояние, вознаграждение или последовательность будущих шагов. Агент с моделью мира может представить результаты действий до их выполнения, планировать, сравнивая воображаемые варианты будущего, и обучаться на смоделированном опыте, а не только на реальных пробах и ошибках. Эта идея возникла в модельном управлении и обучении с подкреплением, а статья David Ha и Jürgen Schmidhuber «Модели мира» 2018 года популяризировала термин применительно к нейронным сетям, которые учатся сжимать симулятор игры по пикселям и обучают политику внутри его «сна». Сегодня термин охватывает модели внутренней динамики агентов вроде Dreamer и MuZero, интерактивные генераторы видео вроде Genie 3 от Google DeepMind и базовые модели мира, создающие видео для обучения Physical AI.

Как работают модели мира#

Модель мира обычно состоит из трёх частей. Энкодер сжимает каждое наблюдение высокой размерности, например кадр камеры, в компактное латентное состояние. Модель динамики предсказывает следующее латентное состояние по текущему и действию, часто одновременно предсказывая вознаграждение и завершение эпизода. Необязательный декодер преобразует латентные состояния обратно в изображения для обучения или визуализации того, что представляет модель. Ha и Schmidhuber построили эти компоненты на основе вариационного автоэнкодера, рекуррентной сети, предсказывающей следующее латентное состояние, и небольшого линейного контроллера, обученного на латентных представлениях.

Агент использует модель двумя способами. При планировании он прокручивает в модели возможные последовательности действий, оценивает воображаемые результаты и выполняет лучший вариант — как в модельно-прогнозирующем управлении или поиске по дереву MuZero. Этот код на PyTorch обучает модель мира для простой тележки на случайных переходах и планирует в воображении последовательность из 20 толчков:

import torch
from torch import nn

torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])

# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
    loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
    imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
    real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin()  # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")

Код выводит chosen plan: imagined final position 3.00, real final position 2.93. Агент выбрал план, не взаимодействуя с реальной тележкой, а отклонение 0,07 — это ошибка модели, накопившаяся за 20 воображаемых шагов. За длинные последовательности моделирования небольшие ошибки накапливаются, поэтому практические планировщики пересчитывают план после каждого шага и ограничивают горизонт моделирования.

При обучении на воображаемых сценариях агент обучает свою политику на траекториях, созданных внутри модели. DreamerV3, опубликованная в журнале Nature в 2025 году, чередует сбор реального опыта, улучшение модели мира и обучение актёра и критика исключительно на воображаемых траекториях:

С одним набором гиперпараметров DreamerV3 превзошла специализированные методы более чем на 150 задачах и стала первым алгоритмом, который с нуля добыл алмазы в Minecraft без данных от людей и учебных программ.

Виды моделей мира#

  • Модели динамики для агентов: Dreamer предсказывает будущие латентные состояния, вознаграждения и завершения эпизодов. MuZero предсказывает только то, что нужно для планирования: вознаграждение, политику и ценность, — и благодаря поиску по дереву Монте-Карло сравнялась с AlphaZero в го, шахматах и сёги, не зная правил этих игр.
  • Интерактивные видеомодели: Genie — модель с 11 миллиардами параметров, обученная на видеозаписях из интернета без разметки, на которых показаны двумерные платформенные игры. Она освоила собственные латентные действия и превращает изображение, фотографию или набросок в управляемый игровой мир. Genie 3 генерирует миры, по которым пользователи могут перемещаться в реальном времени с частотой 24 кадра в секунду и разрешением 720p; согласованность сохраняется в течение нескольких минут.
  • Базовые модели мира: Cosmos от NVIDIA предоставляет модели с открытыми весами, которые предсказывают будущее видео по тексту, изображениям или предыдущим кадрам и предназначены для последующего обучения на конкретных роботах и автомобилях.
  • Модели предсказания эмбеддингов: Архитектура совместного предсказания эмбеддингов (JEPA) предсказывает представление будущего или отсутствующего содержимого, а не его пиксели, поэтому не тратит ресурсы на непредсказуемые детали, например точный рисунок движущихся листьев.

Модели мира с фокусом на объекты представляют сцену как набор объектов и предсказывают движение каждого из них. Ultralytics YOLO26 в режиме отслеживания преобразует видео в такое представление состояния: рамки каждого объекта, связанные между кадрами с помощью постоянных идентификаторов.

  • Генерация видео: Генератор видео создает правдоподобный ролик по запросу. Мировая модель предсказывает последствия действий, поэтому должна правильно реагировать на изменение действия. OpenAI описывала генераторы видео как потенциальные симуляторы мира, а модели вроде Genie 3, которые принимают пользовательские команды покадрово, занимают промежуточное положение.
  • Обучение с подкреплением без модели: Агенты без модели напрямую учатся политике или функции ценности на реальном опыте, не предсказывая изменения среды. Агенты с моделью учатся строить мировую модель и повторно используют ее для планирования или генерации обучающего опыта, что обычно требует гораздо меньше реальных взаимодействий.
  • Симуляторы и цифровые двойники: Физические движки и цифровые двойники инженеры создают на основе уравнений, CAD-моделей и измеренных параметров. Мировая модель обучается на данных, поэтому может учитывать эффекты, которые сложно описать уравнениями, например складывание ткани или реакцию пешеходов на дорожное движение.
  • Большие языковые модели: Языковая модель предсказывает следующий текстовый токен. Модель мира предсказывает следующее состояние среды, обычно используя видео, данные датчиков и действия.

Примеры применения в реальных условиях#

  • Автономное вождение: GAIA-1 от Wayve генерирует видео поездок на основе предыдущего видео, текста и действий автомобиля, которым управляет система. Мировая модель Waymo, созданная на базе Genie 3 и анонсированная в феврале 2026 года, генерирует данные и с камер, и с лидара, чтобы симулировать ситуации, которые автопарк никогда не записывал, например торнадо или слона на дороге.
  • Игры и интерактивные медиа: Интерактивные видеомодели превращают текстовый запрос или изображение в мир, который можно исследовать и который реагирует на ввод с клавиатуры.
  • Робототехника: Модель V-JEPA 2 от Meta предварительно обучили на более чем 1 миллионе часов интернет-видео. Ее версия с учетом действий, V-JEPA 2-AC, прошла дополнительное обучение на менее чем 62 часах видео роботов без разметки, после чего научилась брать и перекладывать предметы с помощью манипуляторов Franka в двух новых лабораториях, планируя действия относительно целевых изображений. Для этого не собирали данные ни с этих роботов, ни из этих сред.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения