Self-Supervised Learning

Học tự giám sát (SSL) huấn luyện model trên một tác vụ có nhãn được tạo từ chính dữ liệu, chẳng hạn dự đoán từ tiếp theo trong câu, điền các mảng ảnh bị ẩn hoặc nhận biết hai phần cắt của cùng một ảnh là tương đồng, nhờ đó model có thể học từ lượng lớn dữ liệu chưa gắn nhãn. Học có giám sát bị giới hạn bởi gắn nhãn dữ liệu, vốn chậm và tốn kém, trong khi ảnh, video, âm thanh và văn bản thô rất dồi dào. SSL dùng dữ liệu này để pretrain encoder đa dụng; sau đó, fine-tuning hoặc một head nhỏ được huấn luyện sẽ điều chỉnh encoder cho tác vụ downstream như phân loại ảnh hoặc phát hiện đối tượng với ít nhãn hơn nhiều. Mọi large language model (LLM) hiện đại đều được pretrain theo cách này, bằng dự đoán token tiếp theo trên văn bản như các model GPT; DINOv3 của Meta mở rộng quy mô pretrain ảnh tự giám sát lên model 7 tỷ tham số, được huấn luyện trên 1,7 tỷ ảnh.

Cách học tự giám sát hoạt động#

Phương pháp SSL xác định một tác vụ pretext: ẩn hoặc biến đổi một phần của mỗi đầu vào rồi huấn luyện mạng khôi phục phần đã bị loại bỏ hoặc nhận biết phần được giữ nguyên. Bản thân tác vụ pretext hiếm khi hữu ích. Điều quan trọng là việc giải tác vụ buộc mạng học cấu trúc dữ liệu, chẳng hạn hình dạng đối tượng, kết cấu và mối quan hệ giữa các phần; các đặc trưng này có thể chuyển sang những tác vụ có nhãn. Sau khi pretrain, encoder được đánh giá hoặc sử dụng thông qua thăm dò tuyến tính trên các đặc trưng được đóng băng, hoặc bằng cách fine-tune toàn bộ trọng số:

Các nhóm phương pháp chính#

• Dự đoán phần bị che: Che một phần đầu vào và huấn luyện model tái tạo phần đó. BERT dự đoán các từ được che ngẫu nhiên; masked autoencoder che 75% các mảng ảnh rồi tái tạo pixel. Dự đoán token tiếp theo trong chuỗi áp dụng cùng ý tưởng cho văn bản.
• Học tương phản: Tạo hai góc nhìn được tăng cường cho mỗi ảnh rồi huấn luyện embedding sao cho các góc nhìn của cùng một ảnh khớp nhau, còn các góc nhìn của ảnh khác thì không. SimCLR và MoCo là những ví dụ nổi tiếng nhất.
• Tự chưng cất: Mạng student học cách khớp đầu ra của mạng teacher — một trung bình cập nhật chậm của student — trên các phần cắt khác nhau của cùng một ảnh, không cần cặp âm. BYOL và DINO sử dụng cách tiếp cận này; DINOv2 và DINOv3 mở rộng phương pháp lên các tập dữ liệu được tuyển chọn có hơn 100 triệu ảnh.
• Dự đoán embedding chung: Dự đoán embedding của các vùng bị ẩn từ những vùng nhìn thấy được, giúp model học nội dung trừu tượng mà không tiêu tốn năng lực vào chi tiết pixel. I-JEPA và V-JEPA của Meta áp dụng phương pháp này cho ảnh và video.

Lựa chọn phương pháp định hình các đặc trưng. Tái tạo phần bị che giữ lại chi tiết không gian mịn và hoạt động tốt khi fine-tune, còn các phương pháp học tương phản và tự chưng cất tạo ra đặc trưng hoạt động tốt khi được đóng băng; vì vậy encoder thuộc họ DINO thường được dùng làm backbone cho ước tính độ sâu và phân đoạn ngữ nghĩa.

Học tự giám sát trong thị giác máy tính#

Vision transformer và SSL rất phù hợp với nhau: việc che toàn bộ các mảng ánh xạ trực tiếp lên đầu vào token của ViT, còn ViT hưởng lợi từ lượng dữ liệu huấn luyện lớn hơn các tập dữ liệu có nhãn. Nhiều foundation model khởi đầu từ encoder tự giám sát. SAM 2 của Meta, chạy trong package Ultralytics để phân đoạn ảnh và video theo prompt, sử dụng encoder ảnh Hiera được pretrain dưới dạng masked autoencoder trước khi huấn luyện phân đoạn.

Ứng dụng#

• Chẩn đoán hình ảnh y tế: Bệnh viện lưu trữ số lượng ảnh chụp lớn hơn nhiều so với khả năng gắn nhãn của bác sĩ chẩn đoán hình ảnh. Pretrain trên ảnh X-quang, CT hoặc MRI chưa gắn nhãn tạo ra encoder có thể học các tác vụ như phát hiện khối u từ một tập nhỏ nhãn chuyên gia.
• Ảnh vệ tinh: Meta huấn luyện một biến thể DINOv3 trên 493 triệu ảnh vệ tinh, và World Resources Institute dùng model này để lập bản đồ chiều cao tán cây. Tại một khu vực ở Kenya, sai số chiều cao trung bình giảm từ 4,1 xuống 1,2 mét so với các bản đồ trước đó dựa trên DINOv2.
• Nhận dạng tiếng nói: wav2vec 2.0 được pretrain trên 53.000 giờ âm thanh chưa gắn nhãn; sau khi fine-tune chỉ với 10 phút tiếng nói được phiên âm, model đạt tỷ lệ lỗi từ 4,8% và 8,2% trên các tập kiểm tra LibriSpeech clean và other.

Học tự giám sát và các thuật ngữ liên quan#

• Học không giám sát: Học nói chung không cần nhãn do con người cung cấp, bao gồm phân cụm và ước tính mật độ. SSL thường được xem là một dạng học không giám sát nhưng được huấn luyện như học có giám sát, với mục tiêu được tạo từ dữ liệu.
• Học bán giám sát: Huấn luyện đồng thời trên một tập nhỏ có nhãn và một tập lớn chưa gắn nhãn. SSL chỉ pretrain trên dữ liệu chưa gắn nhãn; hai phương pháp kết hợp hiệu quả với nhau: SimCLRv2 fine-tune một model tự giám sát lớn trên 1% nhãn của ImageNet, sau đó chưng cất model bằng các ảnh chưa gắn nhãn.
• Học chuyển giao: Tái sử dụng model đã pretrain cho một tác vụ mới. SSL là một cách tạo ra model đã pretrain đó mà không cần nhãn.
• Tăng cường dữ liệu: Cắt ảnh, thay đổi màu sắc và lật ngẫu nhiên để mở rộng tập dữ liệu có nhãn. Trong SSL tương phản, chính các phép biến đổi này xác định những góc nhìn nào được xem là cùng một ảnh, từ đó quyết định encoder học cách bỏ qua điều gì.