Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Large Vision Models (LVM)

Model thị giác lớn là các mạng thị giác có từ hàng trăm triệu đến hàng tỷ tham số, được tiền huấn luyện trên bộ sưu tập ảnh khổng lồ để phục vụ nhiều tác vụ.

Model thị giác lớn (LVM) là mạng neural xử lý ảnh và video, có từ hàng trăm triệu đến hàng tỷ tham số, được pretrained trên hàng triệu đến hàng tỷ ảnh để một model có thể phục vụ nhiều tác vụ thị giác. Đây là đối trọng trong lĩnh vực thị giác của mô hình ngôn ngữ lớn và là một dạng model nền tảng: quá trình pretraining chủ yếu tự giám sát hoặc giám sát yếu, sau đó model thu được được điều chỉnh cho các tác vụ phân loại, detection, segmentation, độ sâu hoặc truy xuất với rất ít hoặc không cần dữ liệu gán nhãn. Hầu hết LVM là Vision Transformer; độ chính xác của chúng tiếp tục cải thiện theo kích thước model và dữ liệu, tuân theo cùng quy luật tỷ lệ như các model ngôn ngữ. Những ví dụ nổi tiếng gồm ViT-22B của Google với 22 tỷ tham số, DINOv2 và DINOv3 của Meta, cùng Segment Anything Model của Meta.

Cách huấn luyện model thị giác lớn#

Không thể mở rộng việc gán nhãn lên hàng tỷ ảnh, nên LVM chủ yếu học từ chính các ảnh hoặc từ văn bản được ghép cặp lỏng lẻo. DINOv2, do Meta phát hành năm 2023, sử dụng chưng cất tự giám sát: huấn luyện một mạng student khớp với đầu ra của teacher trên các crop khác nhau của cùng một ảnh; model lớn nhất có 1.1 tỷ tham số và được huấn luyện trên 142 triệu ảnh đã tuyển chọn, còn DINOv3 mở rộng quy trình này vào năm 2025 lên 7 tỷ tham số và 1.7 tỷ ảnh. Autoencoder có mask là một hướng tiếp cận khác cho học tự giám sát: che phần lớn patch của ảnh rồi huấn luyện model tái tạo chúng. Học tương phản giữa ảnh và văn bản, như trong CLIP và SigLIP, huấn luyện image encoder khớp với caption và tạo ra các backbone thị giác được nhiều model đa phương thức tái sử dụng. Segment Anything Model của Meta học segmentation có thể điều khiển bằng prompt từ bộ dữ liệu SA-1B, gồm 1.1 tỷ mask trên 11 triệu ảnh.

Model thể hiện cách dùng đúng nghĩa nhất của thuật ngữ này là LVM của Bai và cộng sự tại UC Berkeley và Johns Hopkins năm 2023. Model chuyển ảnh, khung hình video và chú giải như mask segmentation thành các “câu thị giác” gồm những token rời rạc, rồi huấn luyện trên 420 tỷ token bằng phương pháp dự đoán token tiếp theo mà không cần văn bản. Khi kiểm thử, model giải quyết tác vụ thông qua prompt thị giác: đưa vào một vài cặp ảnh đầu vào và đầu ra làm ví dụ, model tiếp tục chuỗi bằng đầu ra cho ảnh mới.

Điều chỉnh LVM cho các tác vụ#

LVM pretrained hiếm khi được sử dụng nguyên trạng. Khi không có dữ liệu gán nhãn, model hoạt động theo kiểu zero-shot thông qua prompt riêng, chẳng hạn như thao tác nhấp cho SAM, hoặc thông qua các embedding ảnh được so sánh để truy xuất và khử trùng lặp. Khi có một lượng nhãn nhất định, linear probing huấn luyện một head nhỏ trên các đặc trưng đã đóng băng; đây là cách thường dùng để đánh giá đặc trưng DINOv2 và DINOv3 cho ước tính độ sâu và segmentation. Một lựa chọn khác là fine-tuning để cập nhật chính backbone. Khi mục tiêu là điện thoại, camera hoặc robot, LVM có thể gán nhãn dữ liệu hoặc hướng dẫn một model gọn nhẹ thông qua chưng cất tri thức.

Hàm auto_annotate của Ultralytics sử dụng cách tiếp cận sau cùng: kết hợp bộ phát hiện YOLO26 với SAM của Meta để chuyển các bounding box được phát hiện thành nhãn segmentation dùng cho việc huấn luyện một model segmentation nhỏ hơn. SAM-b có 93,7 triệu tham số, còn YOLO26n-seg có 2,7 triệu, tức ít hơn khoảng 35 lần. Ultralytics Platform áp dụng cùng ý tưởng cho các dataset detection, trong đó các model thị giác theo class prompt gán nhãn ảnh để model YOLO26 huấn luyện trên đó.

LVM, VLM và model chuyên biệt theo tác vụ#

Model ngôn ngữ thị giác kết nối một vision encoder, thường là LVM, với model ngôn ngữ để model có thể trả lời bằng văn bản các câu hỏi về ảnh; bản thân LVM tạo ra đặc trưng, mask hoặc ảnh. Các model chuyên biệt theo tác vụ như mạng object detection được huấn luyện cho một tác vụ và một tập lớp cố định, nhờ đó đủ nhỏ và nhanh để inference thời gian thực trên thiết bị AI biên. Model thị giác lớn đánh đổi hiệu quả đó để có phạm vi ứng dụng rộng hơn: một backbone DINOv3 được giữ ở trạng thái đóng băng đã được đánh giá trên các tác vụ phân loại, detection, segmentation, ước tính độ sâu và tương ứng 3D; Meta cũng huấn luyện một phiên bản trên ảnh vệ tinh cho các tác vụ phân tích ảnh vệ tinh như lập bản đồ chiều cao tán cây.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning