Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Physical AI

AI vật lý cho phép robot, phương tiện và các cỗ máy khác nhận biết, suy luận về và hành động trong thế giới thực. Bài viết đề cập đến stack, huấn luyện và ứng dụng.

AI vật lý là trí tuệ nhân tạo (AI) có khả năng nhận thức, suy luận và hành động trong thế giới vật lý thông qua một cơ thể: robot, drone, xe tự hành và máy móc công nghiệp thông minh. Đầu ra của chatbot là văn bản trên màn hình, trong khi đầu ra của hệ thống AI vật lý là lệnh cho động cơ, với kết quả phụ thuộc vào ma sát, trọng lực, va chạm và những người ở gần; vì vậy, hệ thống phải hiểu không gian 3D cùng quan hệ nhân quả đủ tốt để hành động an toàn theo thời gian thực. NVIDIA đưa thuật ngữ này thành khái niệm trọng tâm trong các nền tảng robot và mô phỏng của hãng; thuật ngữ được sử dụng rộng rãi khi các model tiền huấn luyện quy mô lớn bắt đầu điều khiển robot thật. Đây gần như là từ đồng nghĩa với AI hiện thân, thuật ngữ nghiên cứu lâu đời hơn; trong ngành, AI vật lý phổ biến hơn.

Cách các hệ thống AI vật lý hoạt động#

Mọi hệ thống AI vật lý đều khép kín vòng lặp giữa cảm nhận và hành động, lặp lại nhiều lần mỗi giây:

  • Cảm nhận: Camera, lidar, radar, bộ đo quán tính, encoder khớp nối và cảm biến lực đo thế giới cũng như trạng thái của chính máy móc.
  • Nhận thức: Các model thị giác chuyển pixel thô thành đối tượng, độ sâu, tư thế và bản đồ để bộ lập kế hoạch có thể suy luận.
  • Ra quyết định: Bộ lập kế hoạch, policy học được hoặc các model nền tảng robot quy mô lớn lựa chọn hành động tiếp theo.
  • Chấp hành: Động cơ, kẹp gắp, bánh xe và phanh thực hiện hành động; cảm biến đo tác động của hành động đó ở bước kế tiếp.

Hợp nhất cảm biến kết hợp ưu điểm của các cảm biến khác nhau; thị giác máy tính đảm nhiệm phần lớn công việc nhận thức; các quyết định được đưa ra bởi những bộ điều khiển như điều khiển dự đoán theo mô hình, policy được huấn luyện bằng học tăng cường hoặc model nền tảng robot. Các model nền tảng này ngày càng chia việc ra quyết định giữa một model chậm hơn để diễn giải chỉ dẫn và khung cảnh với một model nhanh hơn để xuất lệnh động cơ, như model hình người GR00T N1 mã nguồn mở của NVIDIA, kết hợp model thị giác-ngôn ngữ với một mô-đun hành động riêng:

Các model thị giác-ngôn ngữ-hành động (VLA) gộp cả hai vai trò vào một mạng. RT-2 của Google DeepMind cho thấy vào năm 2023 rằng một model thị giác-ngôn ngữ được tinh chỉnh để xuất hành động robot dưới dạng token có thể chuyển kiến thức từ dữ liệu web sang điều khiển robot. π0 của Physical Intelligence bổ sung một chuyên gia hành động dựa trên flow matching, có ý tưởng gần với policy khuếch tán, để xuất đồng thời các đoạn hành động mượt mà gồm nhiều bước trong tương lai; các model Gemini Robotics của Google DeepMind mở rộng cách tiếp cận này sang các tác vụ nhiều bước đòi hỏi sự khéo léo, như gấp origami.

Từ nhận thức đến hành động trong code#

Nhận thức là mắt xích đầu tiên trong vòng lặp, và tốc độ của nó giới hạn tốc độ phản ứng của máy. Ultralytics YOLO26 được thiết kế cho vai trò edge này và chạy trên máy tính robot như NVIDIA Jetson sau khi export TensorRT. Ví dụ này phát hiện người trong khung hình camera, rồi chuyển detection có confidence cao nhất thành lệnh điều khiển hướng bằng bộ điều khiển tỷ lệ, dạng đơn giản nhất của điều khiển servo thị giác:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

Đoạn mã in ra vị trí của người được chọn trên khung hình và lệnh rẽ; dấu của lệnh cho biết hướng robot cần di chuyển để tiến về phía họ, còn độ lớn tăng theo độ lệch. Trên robot, hai bước tương tự được thực hiện ở mỗi khung hình camera, vì vậy lệnh giảm về 0 khi robot quay mặt về phía mục tiêu.

Huấn luyện AI vật lý#

Dữ liệu là nút thắt trung tâm: internet có hàng nghìn tỷ từ nhưng rất ít bản ghi về robot đang hoạt động; mỗi bản ghi lại gắn với cơ thể và cảm biến của một robot cụ thể. Các nhóm thu thập dữ liệu trình diễn điều khiển từ xa, trong đó con người điều khiển robot thực hiện tác vụ đồng thời ghi lại cảm biến và lệnh, rồi huấn luyện policy để bắt chước các thao tác đó. Các trình mô phỏng vật lý như NVIDIA Isaac Lab chạy hàng nghìn robot song song để thực hiện học tăng cường sâu, đồng thời ngẫu nhiên hóa miền về vật lý và hình ảnh nhằm thu hẹp khoảng cách giữa mô phỏng và thực tế. Cảnh được kết xuất và bản sao số cung cấp dữ liệu tổng hợp đã gắn nhãn cho các tình huống hiếm để huấn luyện model nhận thức; mô hình thế giới tạo các biến thể mới từ cảnh được ghi lại, chẳng hạn cùng một con phố vào ban đêm hoặc khi trời mưa.

Ứng dụng thực tế#

  • Logistics: Robot di động tự hành điều hướng trong nhà kho bằng bản đồ tự xây dựng, đổi tuyến để tránh người và xe nâng; trong khi đó, xe tự hành dẫn đường tự động đi theo các lộ trình cố định.
  • Sản xuất: Cánh tay robot được dẫn hướng bằng thị giác gắp các chi tiết xếp ngẫu nhiên, lắp ráp linh kiện và tự kiểm tra sản phẩm; robot hình người đang được triển khai thử nghiệm để di chuyển thùng chứa và linh kiện.
  • Y tế: Năm 2025, robot SRT-H của Johns Hopkins, được huấn luyện trên video phẫu thuật, đã thực hiện một giai đoạn quan trọng trong phẫu thuật cắt túi mật trên tám túi mật lợn đã lấy ra khỏi cơ thể mà không có người điều khiển cánh tay robot, đồng thời phản hồi các chỉ dẫn sửa bằng lời nói.
  • Nông nghiệp: Robot thu hoạch và làm cỏ nhận diện từng cây bằng camera rồi xử lý từng cây, chẳng hạn loại bỏ cỏ dại mà không cần phun thuốc toàn bộ cánh đồng.
  • Lái xe: Robotaxi và hệ thống hỗ trợ lái là những đội xe AI vật lý được triển khai lớn nhất, nhận thức giao thông và điều khiển phương tiện nhiều lần mỗi giây.
  • Robot học: Lĩnh vực kỹ thuật thiết kế và chế tạo robot, bao gồm cơ khí, điện tử và điều khiển. AI vật lý là năng lực trí tuệ được học để nhận thức và ra quyết định; công nghệ này cũng vận hành các phương tiện và máy móc không được gọi là robot.
  • AI tạo sinh: Tạo văn bản, hình ảnh, video và code. Các kỹ thuật của lĩnh vực này hiện cũng hỗ trợ AI vật lý, từ mô hình khuếch tán tạo chuyển động robot đến mô hình thế giới tạo cảnh huấn luyện.
  • Trí tuệ không gian: Khả năng hiểu và suy luận về không gian 3D, các đối tượng và mối quan hệ giữa chúng; đây là năng lực mà AI vật lý phụ thuộc vào.
  • AI biên: Chạy model ngay trên thiết bị. AI vật lý gần như luôn là AI biên, vì robot không thể chờ một lượt truyền dữ liệu qua mạng rồi mới phanh.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning