Self-Supervised Learning

Self-Supervised Learning (SSL) là một mô hình học máy trong đó hệ thống học cách hiểu dữ liệu bằng cách tạo ra các tín hiệu giám sát của riêng mình từ chính dữ liệu đó, thay vì dựa vào nhãn do con người cung cấp bên ngoài. Trong Supervised Learning truyền thống, các model yêu cầu lượng lớn dữ liệu được chú thích thủ công—chẳng hạn như các hình ảnh được dán nhãn "cat" hoặc "dog"—có thể tốn kém và mất nhiều thời gian để sản xuất. SSL bỏ qua điểm nghẽn này bằng cách tạo ra các "pretext tasks" trong đó model phải dự đoán các phần bị ẩn hoặc bị thiếu của dữ liệu đầu vào, qua đó tự dạy cho mình cấu trúc cơ bản và các đặc trưng cần thiết cho các tác vụ phức tạp như object detection và phân loại.

Các cơ chế cốt lõi của Self-Supervised Learning#

Ý tưởng cơ bản đằng sau SSL là che hoặc ẩn một phần dữ liệu và buộc neural network (NN) tái tạo lại hoặc dự đoán mối quan hệ giữa các góc nhìn khác nhau của cùng một dữ liệu. Quá trình này tạo ra các biểu diễn đa năng, phong phú có thể được fine-tune sau này cho các ứng dụng hạ nguồn cụ thể.

Có hai phương pháp tiếp cận chính trong SSL:

• Generative Methods: Model học cách tạo ra các pixel hoặc từ để điền vào các ô trống. Một ví dụ kinh điển trong Natural Language Processing (NLP) là dự đoán từ tiếp theo trong một câu. Trong thị giác máy tính, các kỹ thuật như Masked Autoencoders (MAE) che khuất các bản vá ngẫu nhiên của hình ảnh và giao nhiệm vụ cho model tái tạo các pixel bị thiếu, buộc nó phải "hiểu" ngữ cảnh trực quan.
• Contrastive Learning: Phương pháp này dạy model phân biệt giữa các điểm dữ liệu tương tự và khác nhau. Bằng cách áp dụng các kỹ thuật data augmentation—chẳng hạn như cắt ảnh (cropping), điều chỉnh độ sáng màu (color jittering), hoặc xoay ảnh (rotation)—cho một hình ảnh, model học được rằng các phiên bản đã sửa đổi này đại diện cho cùng một đối tượng (cặp dương) trong khi coi các hình ảnh khác là các đối tượng khác nhau (cặp âm). Các framework phổ biến như SimCLR phụ thuộc nhiều vào nguyên tắc này.

Các ứng dụng trong thực tế#

Self-supervised learning đã trở thành nền tảng để xây dựng các foundation models mạnh mẽ trên nhiều lĩnh vực khác nhau. Khả năng tận dụng lượng lớn dữ liệu chưa gán nhãn giúp nó có khả năng mở rộng cao.

• Medical Imaging: Việc thu thập các bản quét y tế được chuyên gia gán nhãn rất khó khăn và tốn kém. SSL cho phép các model pre-train trên hàng nghìn bản quét X-quang hoặc MRI chưa gán nhãn để học các đặc trưng giải phẫu tổng quát. Model đã được pre-train này sau đó có thể được fine-tune với một số lượng nhỏ các ví dụ có nhãn để đạt được độ chính xác cao trong tumor detection hoặc chẩn đoán bệnh.
• Autonomous Driving: Xe tự lái tạo ra terabyte dữ liệu video mỗi ngày. SSL cho phép các hệ thống này học động lực học theo thời gian và sự hiểu biết không gian từ cảnh quay video thô mà không cần chú thích từng khung hình. Điều này giúp cải thiện lane detection và né tránh vật cản bằng cách dự đoán các khung hình hoặc chuyển động của đối tượng trong tương lai.

Phân biệt SSL với các thuật ngữ liên quan#

Điều quan trọng là phải phân biệt SSL với Unsupervised Learning. Mặc dù cả hai phương pháp đều sử dụng dữ liệu chưa gán nhãn, unsupervised learning thường tập trung vào việc tìm kiếm các mẫu hoặc nhóm ẩn (phân cụm) mà không có tác vụ dự đoán cụ thể. Ngược lại, SSL đóng khung quá trình học tập như một tác vụ có giám sát, trong đó các nhãn được tạo tự động từ chính cấu trúc dữ liệu. Ngoài ra, Semi-Supervised Learning kết hợp một lượng nhỏ dữ liệu có nhãn với lượng lớn dữ liệu chưa gán nhãn, trongขณะที่ pure SSL tự tạo ra nhãn hoàn toàn từ tập dữ liệu chưa gán nhãn trước khi quá trình fine-tuning diễn ra.

Sử dụng Pre-Trained Weights trong Ultralytics#

Trong hệ sinh thái Ultralytics, các model như YOLO26 hưởng lợi đáng kể từ các chiến lược huấn luyện nâng cao, thường kết hợp các nguyên tắc tương tự như SSL trong giai đoạn pre-training trên các tập dữ liệu lớn như ImageNet hoặc COCO. Điều này đảm bảo rằng khi người dùng triển khai một model cho một tác vụ cụ thể, các bộ trích xuất đặc trưng đã có độ vững chắc cao.

Người dùng có thể tận dụng các biểu diễn đã được pre-train mạnh mẽ này để fine-tune các model trên tập dữ liệu tùy chỉnh của riêng họ bằng cách sử dụng Ultralytics Platform.

Dưới đây là một ví dụ ngắn gọn về cách tải một model Ultralytics YOLO26 đã được huấn luyện sẵn và bắt đầu quá trình fine-tuning trên một dataset mới, tận dụng các tính năng đã học được trong quá trình huấn luyện quy mô lớn ban đầu:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Tương lai của SSL#

Khi các nhà nghiên cứu tại các phòng thí nghiệm lớn như Meta AI và Google DeepMind tiếp tục cải tiến các kỹ thuật này, SSL đang đẩy lùi các giới hạn của những gì có thể đạt được trong Generative AI và thị giác máy tính. Bằng cách giảm sự phụ thuộc vào dữ liệu có nhãn, SSL đang dân chủ hóa quyền truy cập vào AI hiệu suất cao, cho phép các nhóm nhỏ hơn xây dựng các model phức tạp cho các ứng dụng ngách như wildlife conservation hoặc industrial inspection.