World Models

"World Model" đề cập đến đại diện nội bộ của một hệ thống AI về cách thức vận hành của môi trường, cho phép nó dự đoán các trạng thái hoặc kết quả trong tương lai dựa trên những quan sát hiện tại và các hành động tiềm năng. Không giống như các mô hình truyền thống ánh xạ trực tiếp đầu vào sang đầu ra (như phân loại hình ảnh), world model học được các động lực học, vật lý và các mối quan hệ nhân quả cơ bản của một hệ thống. Khái niệm này đóng vai trò trung tâm trong việc thúc đẩy Artificial General Intelligence (AGI) vì nó cung cấp cho máy móc một dạng lập luận "thông thường", cho phép chúng mô phỏng các kịch bản trong tâm trí trước khi thực hiện hành động trong thế giới thực.

Link to this sectionCơ chế đằng sau World Models#

Về cơ bản, world model hoạt động tương tự như trực giác của con người. Khi bạn ném một quả bóng, bạn không tính toán các phương trình sức cản gió; não bộ của bạn mô phỏng quỹ đạo dựa trên những trải nghiệm trong quá khứ. Tương tự như vậy, trong machine learning (ML), các mô hình này nén dữ liệu cảm biến đa chiều (như các khung hình video) thành một trạng thái tiềm ẩn nhỏ gọn. Trạng thái nén này cho phép tác nhân "mơ" hoặc tạo ra các tương lai tiềm năng một cách hiệu quả.

Các nghiên cứu tiên phong, chẳng hạn như công trình về Recurrent World Models của Ha và Schmidhuber, chứng minh cách các tác nhân có thể học các chính sách hoàn toàn bên trong một môi trường giấc mơ mô phỏng. Gần đây hơn, các tiến bộ trong generative AI như Sora của OpenAI đại diện cho một hình thức mô hình hóa thế giới bằng hình ảnh, nơi hệ thống hiểu được các quy luật vật lý, ánh sáng và sự tồn tại của vật thể để tạo ra sự liền mạch cho video.

Link to this sectionCác ứng dụng trong Robot và Mô phỏng#

World models đặc biệt mang tính đột phá trong các lĩnh vực yêu cầu ra quyết định phức tạp.

• Phương tiện tự hành: Xe tự lái sử dụng world models để dự đoán hành vi của các tài xế và người đi bộ khác. Bằng cách mô phỏng hàng nghìn kịch bản giao thông tiềm năng mỗi giây, phương tiện có thể chọn lộ trình an toàn nhất. Điều này liên quan chặt chẽ đến computer vision trong các giải pháp ô tô, nơi khả năng nhận diện chính xác là nền tảng cho việc dự đoán.
• Robot: Trong manufacturing robotics, một cánh tay robot được huấn luyện bằng world model có thể thích ứng với các vật thể mới hoặc vật cản bất ngờ mà không cần huấn luyện lại. Nó hiểu được vật lý của việc cầm nắm và di chuyển, từ đó cải thiện các smart manufacturing solutions.

Link to this sectionWorld Models so với Reinforcement Learning tiêu chuẩn#

Việc phân biệt world models với các phương pháp tiếp cận tiêu chuẩn là rất hữu ích:

• World Models so với Reinforcement Learning (RL): RL truyền thống thường là "model-free", nghĩa là tác nhân học hoàn toàn thông qua thử và sai trong môi trường. Phương pháp world model là "model-based", nơi tác nhân xây dựng một trình mô phỏng để học hỏi, từ đó giảm đáng kể lượng tương tác thực tế cần thiết.
• World Models so với Large Language Models (LLMs): Trong khi các LLM dự đoán token văn bản tiếp theo, world models thường dự đoán khung hình hoặc trạng thái hình ảnh tiếp theo. Tuy nhiên, ranh giới này đang dần mờ đi với sự trỗi dậy của multi-modal learning, nơi các mô hình tích hợp văn bản, thị giác và vật lý.

Link to this sectionCác khái niệm thực thi thực tế#

Mặc dù việc xây dựng một world model hoàn chỉnh là rất phức tạp, nhưng khái niệm nền tảng dựa trên việc dự đoán các trạng thái tương lai. Đối với các tác vụ computer vision, các mô hình phát hiện tốc độ cao như Ultralytics YOLO26 đóng vai trò là "đôi mắt" cảm biến cung cấp các quan sát vào logic ra quyết định.

Đoạn mã Python dưới đây minh họa cách bạn có thể sử dụng một mô hình YOLO để trích xuất trạng thái hiện tại (vị trí đối tượng), đóng vai trò là đầu vào cho bước dự đoán của world model.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model to act as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to get the current state of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding boxes (xyxy) representing object states
for result in results:
    boxes = result.boxes.xyxy.cpu().numpy()
    print(f"Observed State (Object Positions): {boxes}")
    # A World Model would take these 'boxes' to predict the NEXT frame's state

Link to this sectionTương lai của AI dự báo#

Sự phát triển của world models đang hướng tới physical AI, nơi trí tuệ kỹ thuật số tương tác liền mạch với thế giới vật chất. Những đổi mới như Yann LeCun's JEPA (Joint Embedding Predictive Architecture) đề xuất việc học các biểu diễn trừu tượng thay vì dự đoán từng pixel, giúp các mô hình hiệu quả hơn đáng kể.

Khi các kiến trúc này hoàn thiện, chúng tôi hy vọng thấy chúng được tích hợp vào Ultralytics Platform, cho phép các nhà phát triển không chỉ phát hiện đối tượng mà còn dự báo quỹ đạo và các tương tác của chúng trong các môi trường động. Sự chuyển dịch từ phát hiện tĩnh sang dự đoán động này đánh dấu bước tiến lớn tiếp theo trong computer vision (CV).