World Model
World model là hệ thống AI học cách môi trường biến đổi và cách hành động làm thay đổi môi trường, giúp agent hình dung kết quả và lập kế hoạch trước khi hành động.
Mô hình thế giới là một model được học để mô tả cách môi trường thay đổi theo thời gian và phản hồi trước hành động. Dựa trên trạng thái hiện tại hoặc lịch sử quan sát cùng với một hành động, model dự đoán điều xảy ra tiếp theo: quan sát kế tiếp, trạng thái nội bộ cô đọng, phần thưởng hoặc một chuỗi bước trong tương lai. Tác tử có mô hình thế giới có thể hình dung kết quả của hành động trước khi thực hiện, lập kế hoạch bằng cách so sánh các tương lai được tưởng tượng và học từ trải nghiệm mô phỏng thay vì chỉ dựa vào thử-và-sai trong thế giới thực. Ý tưởng này bắt nguồn từ điều khiển dựa trên mô hình và học tăng cường; bài báo World Models năm 2018 của David Ha và Jürgen Schmidhuber đã phổ biến thuật ngữ này khi mô tả các mạng nơ-ron học một trình mô phỏng nén của trò chơi từ pixel và huấn luyện policy bên trong “giấc mơ” đó. Ngày nay, thuật ngữ này bao gồm các model động lực học nội bộ của những tác tử như Dreamer và MuZero, các bộ tạo video tương tác như Genie 3 của Google DeepMind, và mô hình nền tảng thế giới tạo video để huấn luyện AI vật lý.
Cách world model hoạt động#
Mô hình thế giới thường gồm ba phần. Bộ mã hóa nén từng quan sát có số chiều cao, chẳng hạn khung hình camera, thành một trạng thái tiềm ẩn nhỏ. Model động lực học dự đoán trạng thái tiềm ẩn tiếp theo từ trạng thái hiện tại và một hành động, thường đồng thời dự đoán phần thưởng và liệu episode có kết thúc hay không. Bộ giải mã tùy chọn chuyển trạng thái tiềm ẩn trở lại thành hình ảnh để huấn luyện hoặc hiển thị những gì model tưởng tượng. Ha và Schmidhuber xây dựng các thành phần này từ một bộ mã hóa tự động biến phân, một mạng đệ quy dự đoán trạng thái tiềm ẩn tiếp theo và một bộ điều khiển tuyến tính nhỏ được huấn luyện trên các trạng thái tiềm ẩn.
Tác tử sử dụng model theo hai cách. Khi lập kế hoạch, tác tử đưa các chuỗi hành động ứng viên qua model, chấm điểm kết quả được tưởng tượng rồi thực hiện chuỗi tốt nhất, như trong điều khiển dự đoán theo mô hình hoặc tìm kiếm cây của MuZero. Đoạn mã PyTorch này học mô hình thế giới cho một xe đẩy đơn giản từ các chuyển tiếp ngẫu nhiên, rồi lập kế hoạch một chuỗi đẩy 20 bước trong tưởng tượng:
import torch
from torch import nn
torch.manual_seed(0)
# The real environment, unknown to the agent: a cart's [position, velocity] responds to a push in [-1, 1]
A, B = torch.tensor([[1.0, 0.9], [0.0, 0.9]]), torch.tensor([0.1, 0.1])
# Learn a world model that predicts how (state, action) changes the state, from 5,000 random transitions
states, actions = torch.rand(5000, 2) * 4 - 2, torch.rand(5000, 1) * 2 - 1
change = states @ A.T + actions * B - states
model = nn.Sequential(nn.Linear(3, 64), nn.ReLU(), nn.Linear(64, 2))
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)
for step in range(2000):
loss = ((model(torch.cat([states, actions], dim=1)) - change) ** 2).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Plan by imagination: roll 1,000 random 20-step plans through the model; also run them for real to compare
plans = torch.rand(1000, 20, 1) * 2 - 1
imagined, real = torch.zeros(1000, 2), torch.zeros(1000, 2)
for k in range(20):
imagined = imagined + model(torch.cat([imagined, plans[:, k]], dim=1)).detach()
real = real @ A.T + plans[:, k] * B
best = (imagined[:, 0] - 3).abs().argmin() # plan whose imagined final position is closest to 3
print(f"chosen plan: imagined final position {imagined[best, 0]:.2f}, real final position {real[best, 0]:.2f}")Đoạn mã in ra chosen plan: imagined final position 3.00, real final position 2.93. Tác tử chọn kế hoạch mà không tác động vào xe đẩy thật; độ lệch 0,07 là sai số model tích lũy qua 20 bước tưởng tượng. Sai số nhỏ cộng dồn qua các lượt mô phỏng dài, vì vậy bộ lập kế hoạch thực tế sẽ lập kế hoạch lại sau mỗi bước và giữ chân trời tưởng tượng ngắn.
Trong phương pháp học bằng tưởng tượng, tác tử huấn luyện policy trên các lượt mô phỏng được tạo bên trong model. DreamerV3, được công bố trên tạp chí Nature vào năm 2025, luân phiên thu thập trải nghiệm thực, cải thiện mô hình thế giới và huấn luyện actor cùng critic hoàn toàn trên các quỹ đạo được tưởng tượng:
Với một bộ siêu tham số, DreamerV3 vượt trội hơn các phương pháp chuyên biệt trên hơn 150 tác vụ và trở thành thuật toán đầu tiên tự tìm được kim cương trong Minecraft từ con số không mà không cần dữ liệu con người hay giáo trình học tập.
Các loại mô hình thế giới#
- Mô hình động lực học của tác tử: Dreamer dự đoán trạng thái tiềm ẩn trong tương lai, phần thưởng và thời điểm kết thúc episode. MuZero chỉ dự đoán những gì cần cho việc lập kế hoạch: phần thưởng, policy và giá trị; kết hợp với tìm kiếm cây Monte Carlo, mô hình đạt kết quả ngang AlphaZero ở cờ vây, cờ vua và shogi mà không được cung cấp luật chơi.
- Mô hình video tương tác: Genie là model 11 tỷ tham số, được huấn luyện trên các video internet không gắn nhãn về trò chơi platformer 2D; model tự học các hành động tiềm ẩn và biến một hình ảnh, ảnh chụp hoặc bản phác thảo thành thế giới trò chơi có thể điều khiển. Genie 3 tạo ra các thế giới mà người dùng có thể điều hướng theo thời gian thực ở tốc độ 24 khung hình/giây và độ phân giải 720p, duy trì tính nhất quán trong vài phút.
- Mô hình nền tảng thế giới: Cosmos của NVIDIA cung cấp các model trọng số mở dự đoán video tương lai từ văn bản, hình ảnh hoặc các khung hình trước đó, được thiết kế để hậu huấn luyện cho robot và phương tiện cụ thể.
- Mô hình embedding dự đoán: Kiến trúc dự đoán embedding kết hợp (JEPA) dự đoán biểu diễn của nội dung bị thiếu hoặc trong tương lai thay vì pixel, nhờ đó model không tiêu tốn năng lực vào các chi tiết không thể dự đoán như kiểu chuyển động chính xác của những chiếc lá.
Mô hình thế giới lấy đối tượng làm trung tâm biểu diễn cảnh dưới dạng một tập hợp đối tượng và dự đoán chuyển động của từng đối tượng. Ultralytics YOLO26 trong chế độ theo dõi chuyển video thành dạng trạng thái này: hộp cho từng đối tượng, được liên kết giữa các khung hình bằng ID tồn tại liên tục.
World Model so với các khái niệm liên quan#
- Tạo video: Trình tạo video tạo ra một đoạn clip hợp lý từ prompt. World model dự đoán hệ quả của các hành động, vì vậy model phải phản hồi chính xác khi hành động thay đổi. OpenAI mô tả trình tạo video là các hệ thống có tiềm năng mô phỏng thế giới, còn các model như Genie 3 nhận điều khiển của người dùng theo từng khung hình nằm ở khoảng giữa hai loại này.
- Học tăng cường không dùng model: Các agent không dùng model học trực tiếp policy hoặc hàm giá trị từ trải nghiệm thực tế mà không dự đoán môi trường thay đổi ra sao. Các agent dựa trên model học world model rồi tái sử dụng model đó để lập kế hoạch hoặc tạo dữ liệu huấn luyện, nhờ vậy thường cần ít tương tác thực tế hơn nhiều.
- Trình mô phỏng và bản sao số: Kỹ sư xây dựng engine vật lý và bản sao số từ phương trình, model CAD và các tham số đo được. World model được học từ dữ liệu nên có thể nắm bắt những hiệu ứng khó biểu diễn bằng phương trình, chẳng hạn như cách vải gấp nếp hoặc người đi bộ phản ứng với giao thông.
- Mô hình ngôn ngữ lớn: Mô hình ngôn ngữ dự đoán token văn bản tiếp theo. Mô hình thế giới dự đoán trạng thái tiếp theo của môi trường, thường dựa trên video, dữ liệu cảm biến và hành động.
Ứng dụng thực tế#
- Lái xe tự hành: GAIA-1 của Wayve tạo video lái xe dựa trên video trước đó, văn bản và hành động của xe chủ thể. Waymo World Model, được xây dựng trên Genie 3 và công bố vào tháng 2 năm 2026, tạo cả dữ liệu camera lẫn lidar để mô phỏng những tình huống mà đội xe chưa từng ghi lại, chẳng hạn như lốc xoáy hoặc voi trên đường.
- Trò chơi và phương tiện tương tác: Các model video tương tác biến prompt văn bản hoặc hình ảnh thành một thế giới có thể khám phá và phản hồi với thao tác bàn phím.
- Robot học: V-JEPA 2 của Meta được tiền huấn luyện trên hơn 1 triệu giờ video trên internet. Phiên bản được điều kiện hóa theo hành động, V-JEPA 2-AC, được hậu huấn luyện trên chưa đến 62 giờ video robot chưa gắn nhãn, sau đó gắp và đặt vật thể bằng cánh tay Franka tại hai phòng thí nghiệm mới bằng cách lập kế hoạch hướng tới hình ảnh mục tiêu, mà không cần thu thập dữ liệu từ các robot hoặc môi trường đó.










