Contrastive Learning

Học đối lập (contrastive learning) là một mô hình học máy (machine learning) dạy cho các mô hình cách hiểu dữ liệu bằng cách so sánh các mẫu giống nhau và khác nhau. Không giống như supervised learning truyền thống vốn phụ thuộc nhiều vào các bộ dữ liệu được gán nhãn thủ công, học đối lập thường được sử dụng trong các ngữ cảnh self-supervised learning. Ý tưởng cốt lõi rất đơn giản nhưng mạnh mẽ: mô hình học cách kéo các biểu diễn của các mục có liên quan (cặp dương) lại gần nhau hơn trong không gian véc-tơ đồng thời đẩy các mục không liên quan (cặp âm) ra xa nhau hơn. Quá trình này cho phép các thuật toán xây dựng các đặc trưng mạnh mẽ, có khả năng tổng quát hóa từ lượng lớn dữ liệu chưa gán nhãn, điều rất quan trọng để mở rộng quy mô các hệ thống artificial intelligence (AI).

Cơ chế của Học đối lập#

Trọng tâm của học đối lập là khái niệm học bằng cách so sánh. Thay vì ghi nhớ rằng một hình ảnh cụ thể là "mèo", mô hình học được rằng hai bức ảnh khác nhau của một con mèo giống nhau hơn so với việc một trong hai bức ảnh đó so với ảnh của một con chó. Điều này thường đạt được thông qua data augmentation. Một hình ảnh đầu vào, thường được gọi là "anchor" (mỏ neo), được biến đổi thành hai phiên bản khác nhau bằng cách sử dụng các kỹ thuật như cắt xén (cropping), lật (flipping), hoặc biến đổi màu sắc (color jittering). Hai phiên bản này tạo thành một cặp dương. Sau đó, mô hình được huấn luyện để giảm thiểu khoảng cách giữa các embeddings của chúng đồng thời tối đa hóa khoảng cách tới các hình ảnh ngẫu nhiên khác (mẫu âm) trong lô dữ liệu (batch).

Phương pháp này giúp neural network tập trung vào các đặc trưng ngữ nghĩa cấp cao thay vì các chi tiết điểm ảnh (pixel) cấp thấp. Ví dụ, dù một chiếc ô tô có màu đỏ hay xanh, hoặc đang quay sang trái hay phải, khái niệm cơ bản về "ô tô" vẫn giữ nguyên. Bằng cách bỏ qua các biến thể bề ngoài này, mô hình phát triển sự hiểu biết sâu sắc hơn về thế giới trực quan, điều này mang lại lợi ích đáng kể cho các tác vụ hạ nguồn như object detection và phân loại.

Các ứng dụng trong thực tế#

Học đối lập đã trở thành nền tảng cho nhiều ứng dụng AI tiên tiến, đặc biệt là ở những nơi dữ liệu có nhãn khan hiếm hoặc tốn kém để thu thập.

1. Phân loại ảnh không cần huấn luyện lại (Zero-Shot Image Classification): Các mô hình như CLIP (Contrastive Language-Image Pre-training) sử dụng học đối lập để căn chỉnh hình ảnh và văn bản trong một không gian đặc trưng chung. Bằng cách huấn luyện trên hàng triệu cặp hình ảnh-văn bản, mô hình học cách liên kết các khái niệm trực quan với các mô tả ngôn ngữ tự nhiên. Điều này cho phép zero-shot learning, nơi mô hình có thể phân loại hình ảnh vào các danh mục chưa từng thấy trong quá trình huấn luyện chỉ đơn giản bằng cách khớp hình ảnh với một câu lệnh văn bản (prompt).

2. Tiền huấn luyện mạnh mẽ cho Hình ảnh Y tế: Trong lĩnh vực chăm sóc sức khỏe, việc thu thập các bản quét y tế được chuyên gia gán nhãn rất tốn kém và mất thời gian. Các nhà nghiên cứu sử dụng học đối lập để tiền huấn luyện các mô hình trên các cơ sở dữ liệu lớn gồm ảnh X-quang hoặc quét MRI chưa gán nhãn. Quá trình tiền huấn luyện không giám sát này tạo ra một backbone mạnh mẽ có thể được tinh chỉnh (fine-tune) với một số lượng nhỏ các ví dụ được gán nhãn để phát hiện các bệnh như viêm phổi hoặc khối u với độ chính xác cao. Kỹ thuật này tận dụng transfer learning để cải thiện các công cụ chẩn đoán trong AI in healthcare.

Phân biệt các khái niệm liên quan#

Việc phân biệt học đối lập với các kỹ thuật tương tự là rất hữu ích để hiểu rõ vai trò duy nhất của nó trong bối cảnh machine learning (ML).

• So với Autoencoders: Mặc dù cả hai đều là phương pháp không giám sát, autoencoders nhằm mục đích tái tạo dữ liệu đầu vào theo từng điểm ảnh, nén dữ liệu đó thành một lớp thắt cổ chai (bottleneck layer). Ngược lại, học đối lập không cố gắng tạo lại hình ảnh mà chỉ tập trung vào việc học các biểu diễn phân biệt nhằm tách biệt các khái niệm khác nhau.
• So với Generative Adversarial Networks (GANs): GANs bao gồm một bộ sinh (generator) tạo ra dữ liệu giả và một bộ phân biệt (discriminator) cố gắng phát hiện dữ liệu đó. Học đối lập tập trung vào việc học biểu diễn hơn là tạo ra dữ liệu, giúp nó phù hợp hơn cho các tác vụ như tìm kiếm, truy xuất và phân loại.
• So với Triplet Loss: Hàm mất mát bộ ba truyền thống (triplet loss) yêu cầu rõ ràng một mẫu mỏ neo (anchor), một mẫu dương và một mẫu âm. Các phương pháp đối lập hiện đại, chẳng hạn như SimCLR hoặc MoCo, tổng quát hóa điều này bằng cách so sánh một mỏ neo với nhiều mẫu âm đồng thời trong một lô dữ liệu, thường sử dụng một loss function cụ thể như InfoNCE.

Ví dụ thực tế với Embeddings#

Mặc dù việc huấn luyện một mô hình đối lập từ đầu tốn nhiều tài nguyên, bạn có thể dễ dàng sử dụng các mô hình đã được tiền huấn luyện để trích xuất các đặc trưng. Ví dụ sau đây minh họa cách tải một mô hình và trích xuất véc-tơ đặc trưng (embedding) cho một hình ảnh bằng cách sử dụng gói ultralytics. Embedding này đại diện cho nội dung ngữ nghĩa được học thông qua các kỹ thuật tương tự như tiền huấn luyện đối lập.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Khả năng trích xuất các đặc trưng phong phú và có ý nghĩa này làm cho học đối lập trở nên thiết yếu để xây dựng các hệ thống computer vision (CV) hiện đại, hỗ trợ image search hiệu quả và phân tích nâng cao. Để quản lý các tập dữ liệu và huấn luyện các mô hình tùy chỉnh hưởng lợi từ các kiến trúc tiên tiến này, Ultralytics Platform cung cấp một môi trường tối ưu cho việc triển khai và giám sát.