Thuật ngữ

Học tập tương phản

Khám phá sức mạnh của phương pháp học tương phản, một kỹ thuật tự giám sát để biểu diễn dữ liệu mạnh mẽ với lượng dữ liệu được gắn nhãn tối thiểu.

Học tương phản là một kỹ thuật học máy huấn luyện mô hình phân biệt giữa những thứ giống nhau và khác nhau. Thay vì học cách dự đoán nhãn từ một điểm dữ liệu duy nhất, mô hình học bằng cách so sánh các cặp ví dụ. Ý tưởng cốt lõi là dạy mô hình cách kéo các biểu diễn của các cặp tương tự (dương) lại gần nhau hơn trong không gian đặc trưng, đồng thời đẩy các biểu diễn của các cặp khác nhau (âm) ra xa nhau. Phương pháp này rất hiệu quả trong việc học các biểu diễn có ý nghĩa từ các tập dữ liệu lớn chưa được gắn nhãn, khiến nó trở thành một phương pháp mạnh mẽ trong phạm trù rộng hơn của học tự giám sát .

Nó hoạt động như thế nào?

Quá trình học tương phản xoay quanh việc tạo ra các mẫu dương và âm. Với một điểm dữ liệu nhất định, được gọi là "mỏ neo", mô hình được huấn luyện như sau:

Cặp dương : Một cặp dương bao gồm điểm neo và một điểm dữ liệu tương tự về mặt ngữ nghĩa với điểm neo đó. Trong thị giác máy tính (CV) , một mẫu dương thường được tạo ra bằng cách áp dụng một phép tăng cường dữ liệu mạnh (như cắt ngẫu nhiên, xoay hoặc nhiễu màu) cho ảnh neo. Cả ảnh neo và phiên bản tăng cường đều được coi là một cặp dương vì chúng bắt nguồn từ cùng một ảnh nguồn.
Cặp âm : Một cặp âm bao gồm điểm neo và một điểm dữ liệu không giống nhau. Trong một thiết lập thông thường, tất cả các hình ảnh khác trong một lô huấn luyện được coi là mẫu âm.
Mục tiêu đào tạo : Mô hình, thường là mạng nơ-ron tích chập (CNN) , xử lý các cặp này và được tối ưu hóa bằng hàm mất mát tương phản, chẳng hạn như InfoNCE hoặc Triplet Loss. Hàm mất mát này sẽ phạt mô hình khi các cặp âm quá gần hoặc các cặp dương quá xa nhau trong không gian nhúng . Các bài báo nghiên cứu mang tính đột phá như SimCLR và MoCo đã cải tiến đáng kể các kỹ thuật này.

Ứng dụng trong thế giới thực

Học tương phản rất hiệu quả trong việc đào tạo trước các mô hình để học các biểu diễn tính năng mạnh mẽ, sau đó có thể tinh chỉnh cho các nhiệm vụ cụ thể.

Tìm kiếm trực quan và Truy xuất hình ảnh : Trong thương mại điện tử, người dùng có thể muốn tìm các sản phẩm có hình ảnh tương tự với hình ảnh họ tải lên. Một mô hình được đào tạo trước với phương pháp học tương phản có thể ánh xạ hình ảnh vào một không gian vector, nơi các mặt hàng tương tự được nhóm lại với nhau. Điều này cho phép tìm kiếm ngữ nghĩa hiệu quả và các hệ thống đề xuất, vốn rất quan trọng để cải thiện trải nghiệm khách hàng trong lĩnh vực AI bán lẻ .
Tiền huấn luyện cho các tác vụ hạ nguồn : Các mô hình như Ultralytics YOLO11 có thể được hưởng lợi từ việc tiền huấn luyện trên các tập dữ liệu lớn, chưa được gắn nhãn bằng phương pháp tương phản. Điều này giúp mô hình học các đặc điểm trực quan mạnh mẽ trước khi được tinh chỉnh trên một tập dữ liệu nhỏ hơn, đã được gắn nhãn cho các tác vụ như phát hiện đối tượng hoặc phân đoạn thực thể . Phương pháp này thường mang lại hiệu suất tốt hơn và hội tụ nhanh hơn, đặc biệt là khi dữ liệu được gắn nhãn khan hiếm, một khái niệm được gọi là học ít lần (fless-shot learning ).