CLIP (Contrastive Language-Image Pre-training)

CLIP (Tiền huấn luyện tương phản ngôn ngữ-hình ảnh) là một model của OpenAI, được huấn luyện để ghép ảnh với mô tả văn bản tương ứng. Model kết hợp một bộ mã hóa ảnh với một bộ mã hóa văn bản và huấn luyện cả hai để ảnh và caption mô tả ảnh được ánh xạ đến các vector gần nhau trong cùng một không gian embedding. Được huấn luyện trên 400 triệu cặp ảnh-caption thu thập từ internet, CLIP có thể phân loại ảnh vào các danh mục chỉ được cung cấp dưới dạng văn bản, không cần ví dụ đã gán nhãn cho các danh mục đó; khả năng này được gọi là học zero-shot. Trong bài báo năm 2021, model tốt nhất đạt độ chính xác zero-shot top-1 76.2% trên ImageNet, ngang bằng ResNet-50 được giám sát đầy đủ ban đầu mà không dùng bất kỳ ảnh nào trong số 1.28 triệu ảnh đã gán nhãn dùng để huấn luyện ResNet-50.

Cách huấn luyện CLIP#

CLIP có hai bộ mã hóa. Bộ mã hóa ảnh là ResNet hoặc Vision Transformer (ViT), còn bộ mã hóa văn bản là một transformer 12 lớp với 63 triệu tham số ở kích thước cơ sở. Phép chiếu tuyến tính ánh xạ đầu ra của mỗi bộ mã hóa vào không gian chung, nơi mọi vector được chuẩn hóa về độ dài đơn vị.

Quá trình huấn luyện sử dụng học tương phản trên các batch gồm 32,768 cặp ảnh-caption. Với batch gồm N cặp, CLIP tính độ tương đồng cosine giữa từng ảnh với từng caption, tạo ma trận N×N có các cặp đúng nằm trên đường chéo. Loss cross-entropy softmax trên từng hàng yêu cầu mỗi ảnh chọn caption tương ứng trong số N caption; một loss thứ hai trên từng cột yêu cầu mỗi caption chọn ảnh tương ứng. Một tham số nhiệt độ được học để điều chỉnh độ tương đồng trước khi áp dụng softmax.

Vì caption là văn bản tự do, CLIP học từ mọi thứ được mô tả trên web, bao gồm đối tượng, khung cảnh, phong cách nghệ thuật, chữ trong ảnh và hành động, thay vì một danh sách class cố định.

Phân loại zero-shot#

Để phân loại ảnh, CLIP nhúng mỗi nhãn ứng viên dưới dạng câu ngắn như "a photo of a dog", nhúng ảnh rồi chọn nhãn có độ tương đồng cosine cao nhất. Cách diễn đạt prompt rất quan trọng: bài báo cho biết chỉ riêng mẫu câu "A photo of a {label}." đã cải thiện độ chính xác trên ImageNet thêm 1.3%, còn việc lấy trung bình embedding văn bản của 80 mẫu câu giúp tăng thêm 3.5%. Pipeline Hugging Face Transformers bên dưới đặt mỗi nhãn vào mẫu câu "This is a photo of {}." rồi chạy model ViT-B/32 gốc:

from transformers import pipeline

# Load OpenAI's CLIP ViT-B/32 for zero-shot image classification
classifier = pipeline("zero-shot-image-classification", model="openai/clip-vit-base-patch32")

# The classes are free-form text, chosen at inference time
labels = ["a city bus", "a tram", "a delivery truck", "a bicycle"]
predictions = classifier("https://ultralytics.com/images/bus.jpg", candidate_labels=labels)

# Scores are a softmax over the image's similarity to each caption
for prediction in predictions:
    print(f"{prediction['label']}: {prediction['score']:.3f}")

Kết quả in ra a city bus: 0.657, a tram: 0.341, a delivery truck: 0.001 và a bicycle: 0.000. Xe điện, một phương tiện chở khách cỡ lớn khác, chiếm gần như toàn bộ xác suất còn lại; muốn dùng bộ nhãn mới chỉ cần một danh sách chuỗi mới.

Ứng dụng thực tế#

• Tìm kiếm ngữ nghĩa: Các bộ sưu tập ảnh được embedding một lần và lưu trong vector database. Truy vấn văn bản như "red sneakers on a wooden floor" được embedding tại thời điểm tìm kiếm rồi đối chiếu với các ảnh, nhờ đó có thể tìm ảnh theo nội dung mà không cần thẻ thủ công.
• Tạo ảnh từ văn bản: Stable Diffusion 1.x điều kiện hóa bộ tạo ảnh bằng embedding văn bản của CLIP ViT-L/14, còn độ tương đồng CLIP được dùng rộng rãi để chấm điểm mức độ ảnh tạo ra bám sát prompt.
• Phát hiện từ vựng mở: Các model YOLO-World của Tencent AI Lab, chạy trong package Ultralytics, mã hóa tên class được truyền vào set_classes bằng encoder văn bản ViT-B/32 của CLIP, nhờ vậy một bộ phát hiện được huấn luyện một lần có thể tìm "ba lô đỏ" hoặc "xe nâng" theo tên. OWLv2 của Google dựa trên encoder ảnh và văn bản đã pretrain của CLIP; Bảng xếp hạng VLM so sánh model này với các bộ phát hiện từ vựng mở và VLM khác trên dataset detection thực tế.
• Bộ mã hóa thị giác cho VLM: Nhiều model ngôn ngữ-thị giác bắt đầu từ một bộ mã hóa ảnh CLIP đã huấn luyện trước. Chẳng hạn, LLaVA đưa các đặc trưng CLIP ViT-L/14 vào một model ngôn ngữ.
• Lọc dataset: Các dataset ảnh-văn bản mở quy mô lớn như LAION-5B chỉ giữ lại các cặp trên web có độ tương đồng ảnh-văn bản CLIP vượt ngưỡng, loại bỏ caption không mô tả ảnh tương ứng.

CLIP và các phương pháp liên quan#

• Classifier học có giám sát: Classifier tiêu chuẩn có một đầu ra cho mỗi class huấn luyện và không thể chấm điểm class chưa từng thấy. "Classifier" của CLIP là tập hợp embedding văn bản nên thay đổi mỗi khi nhãn thay đổi.
• SigLIP: Biến thể của Google thay softmax trên toàn batch của CLIP bằng loss sigmoid chấm điểm riêng từng cặp ảnh-văn bản, nhờ đó dùng ít bộ nhớ hơn và hoạt động tốt hơn với batch nhỏ.
• Học tương phản tự giám sát: Các phương pháp như SimCLR đối chiếu hai phiên bản tăng cường của cùng một ảnh và học chỉ từ ảnh. CLIP đối chiếu qua hai modality, qua đó liên kết đặc trưng ảnh với từ ngữ.
• VLM tạo sinh: CLIP chấm điểm độ tương đồng ảnh-văn bản nhưng không thể viết caption hay trả lời câu hỏi. Model tạo sinh ghép model ngôn ngữ với bộ mã hóa ảnh, thường là chính bộ mã hóa CLIP.

Hạn chế#

Độ chính xác zero-shot của CLIP giảm ở các danh mục chi tiết như mẫu máy bay hoặc ô tô, khi đếm đối tượng, và ở những tác vụ trừu tượng như ước tính khoảng cách. Model cũng học các thiên lệch trong caption trên web. Vì CLIP được huấn luyện để đọc chữ trong ảnh nên văn bản có thể đánh lừa model: trong nghiên cứu về neuron đa phương thức của OpenAI, một quả táo có nhãn viết tay "iPod" đã bị phân loại thành iPod.