Large Vision Models (LVM)
Model thị giác lớn là các mạng thị giác có từ hàng trăm triệu đến hàng tỷ tham số, được tiền huấn luyện trên bộ sưu tập ảnh khổng lồ để phục vụ nhiều tác vụ.
Model thị giác lớn (LVM) là mạng neural xử lý ảnh và video, có từ hàng trăm triệu đến hàng tỷ tham số, được pretrained trên hàng triệu đến hàng tỷ ảnh để một model có thể phục vụ nhiều tác vụ thị giác. Đây là đối trọng trong lĩnh vực thị giác của mô hình ngôn ngữ lớn và là một dạng model nền tảng: quá trình pretraining chủ yếu tự giám sát hoặc giám sát yếu, sau đó model thu được được điều chỉnh cho các tác vụ phân loại, detection, segmentation, độ sâu hoặc truy xuất với rất ít hoặc không cần dữ liệu gán nhãn. Hầu hết LVM là Vision Transformer; độ chính xác của chúng tiếp tục cải thiện theo kích thước model và dữ liệu, tuân theo cùng quy luật tỷ lệ như các model ngôn ngữ. Những ví dụ nổi tiếng gồm ViT-22B của Google với 22 tỷ tham số, DINOv2 và DINOv3 của Meta, cùng Segment Anything Model của Meta.
Cách huấn luyện model thị giác lớn#
Không thể mở rộng việc gán nhãn lên hàng tỷ ảnh, nên LVM chủ yếu học từ chính các ảnh hoặc từ văn bản được ghép cặp lỏng lẻo. DINOv2, do Meta phát hành năm 2023, sử dụng chưng cất tự giám sát: huấn luyện một mạng student khớp với đầu ra của teacher trên các crop khác nhau của cùng một ảnh; model lớn nhất có 1.1 tỷ tham số và được huấn luyện trên 142 triệu ảnh đã tuyển chọn, còn DINOv3 mở rộng quy trình này vào năm 2025 lên 7 tỷ tham số và 1.7 tỷ ảnh. Autoencoder có mask là một hướng tiếp cận khác cho học tự giám sát: che phần lớn patch của ảnh rồi huấn luyện model tái tạo chúng. Học tương phản giữa ảnh và văn bản, như trong CLIP và SigLIP, huấn luyện image encoder khớp với caption và tạo ra các backbone thị giác được nhiều model đa phương thức tái sử dụng. Segment Anything Model của Meta học segmentation có thể điều khiển bằng prompt từ bộ dữ liệu SA-1B, gồm 1.1 tỷ mask trên 11 triệu ảnh.
Model thể hiện cách dùng đúng nghĩa nhất của thuật ngữ này là LVM của Bai và cộng sự tại UC Berkeley và Johns Hopkins năm 2023. Model chuyển ảnh, khung hình video và chú giải như mask segmentation thành các “câu thị giác” gồm những token rời rạc, rồi huấn luyện trên 420 tỷ token bằng phương pháp dự đoán token tiếp theo mà không cần văn bản. Khi kiểm thử, model giải quyết tác vụ thông qua prompt thị giác: đưa vào một vài cặp ảnh đầu vào và đầu ra làm ví dụ, model tiếp tục chuỗi bằng đầu ra cho ảnh mới.
Điều chỉnh LVM cho các tác vụ#
LVM pretrained hiếm khi được sử dụng nguyên trạng. Khi không có dữ liệu gán nhãn, model hoạt động theo kiểu zero-shot thông qua prompt riêng, chẳng hạn như thao tác nhấp cho SAM, hoặc thông qua các embedding ảnh được so sánh để truy xuất và khử trùng lặp. Khi có một lượng nhãn nhất định, linear probing huấn luyện một head nhỏ trên các đặc trưng đã đóng băng; đây là cách thường dùng để đánh giá đặc trưng DINOv2 và DINOv3 cho ước tính độ sâu và segmentation. Một lựa chọn khác là fine-tuning để cập nhật chính backbone. Khi mục tiêu là điện thoại, camera hoặc robot, LVM có thể gán nhãn dữ liệu hoặc hướng dẫn một model gọn nhẹ thông qua chưng cất tri thức.
Hàm auto_annotate của Ultralytics sử dụng cách tiếp cận sau cùng: kết hợp bộ phát hiện YOLO26 với SAM của Meta để chuyển các bounding box được phát hiện thành nhãn segmentation dùng cho việc huấn luyện một model segmentation nhỏ hơn. SAM-b có 93,7 triệu tham số, còn YOLO26n-seg có 2,7 triệu, tức ít hơn khoảng 35 lần. Ultralytics Platform áp dụng cùng ý tưởng cho các dataset detection, trong đó các model thị giác theo class prompt gán nhãn ảnh để model YOLO26 huấn luyện trên đó.
LVM, VLM và model chuyên biệt theo tác vụ#
Model ngôn ngữ thị giác kết nối một vision encoder, thường là LVM, với model ngôn ngữ để model có thể trả lời bằng văn bản các câu hỏi về ảnh; bản thân LVM tạo ra đặc trưng, mask hoặc ảnh. Các model chuyên biệt theo tác vụ như mạng object detection được huấn luyện cho một tác vụ và một tập lớp cố định, nhờ đó đủ nhỏ và nhanh để inference thời gian thực trên thiết bị AI biên. Model thị giác lớn đánh đổi hiệu quả đó để có phạm vi ứng dụng rộng hơn: một backbone DINOv3 được giữ ở trạng thái đóng băng đã được đánh giá trên các tác vụ phân loại, detection, segmentation, ước tính độ sâu và tương ứng 3D; Meta cũng huấn luyện một phiên bản trên ảnh vệ tinh cho các tác vụ phân tích ảnh vệ tinh như lập bản đồ chiều cao tán cây.










