Image Captioning

Chú thích ảnh là một tác vụ AI tự động tạo ra mô tả bằng ngôn ngữ tự nhiên cho một hình ảnh. Ví dụ, với một bức ảnh đường phố, hệ thống có thể xuất ra: "Một chiếc xe buýt thành phố đang chạy ngang qua người đi bộ tại một ngã tư." Tác vụ này kết hợp nhận giác quan thị giác với tạo sinh ngôn ngữ, do đó model phải xác định nội dung quan trọng, hiểu các mối quan hệ giữa các đối tượng và diễn đạt thông tin đó một cách rõ ràng.

Việc tạo chú thích thường được thực hiện bởi một vision-language model, hoạt động trên cả dữ liệu hình ảnh và văn bản. Khác với chú thích ảnh do con người tự viết, chú thích do AI tạo ra là một dự đoán dựa trên các mẫu học được từ các cặp hình ảnh-văn bản.

Cách hoạt động của chú thích ảnh#

Một hệ thống chú thích ảnh thường có hai giai đoạn được kết nối với nhau:

1. Một vision encoder chuyển đổi các pixel thành các biểu diễn đặc trưng mô tả các đối tượng, kết cấu, vị trí và thông tin cảnh tổng thể.
2. Một language decoder biến các đặc trưng thị giác đó thành một chuỗi các từ.

Nhiều hệ thống sử dụng một transformer decoder. Nó bắt đầu với một token khởi đầu, dự đoán token tiếp theo, thêm token đó vào chuỗi và lặp lại cho đến khi tạo ra token kết thúc hoặc đạt đến giới hạn độ dài. Google Machine Learning Glossary mô tả quá trình từng token này là quá trình tạo sinh tự hồi quy (autoregressive generation).

Một attention mechanism giúp decoder tập trung vào các vùng ảnh có liên quan trong khi chọn từng từ. Khi tạo từ "xe buýt", nó có thể nhấn mạnh vào phương tiện giao thông; khi tạo từ "đường phố", nó có thể chú ý đến con đường xung quanh. TensorFlow image captioning tutorial minh họa cách các đặc trưng hình ảnh, phân đoạn token, cross-attention và một text decoder kết hợp với nhau như thế nào.

Việc huấn luyện thường yêu cầu các hình ảnh đi kèm với một hoặc nhiều chú thích do con người viết. Nhiều chú thích rất hữu ích vì cùng một hình ảnh có thể được mô tả chính xác theo những cách khác nhau, chẳng hạn như "Một đứa trẻ đang chơi với một chú chó" và "Một người trẻ tuổi ném bóng cho thú cưng."

Sự khác biệt so với các tác vụ thị giác liên quan#

Chú thích ảnh chồng chéo với một số tác vụ AI nhưng tạo ra một kết quả đầu ra riêng biệt:

• Image classification gán một hoặc nhiều nhãn cho toàn bộ hình ảnh, chẳng hạn như "bãi biển". Tác vụ chú thích tạo ra một câu có thể mô tả các đối tượng, hành động, thuộc tính và bối cảnh.
• Object detection xác định và định vị các đối tượng được xác định trước bằng các bounding box. Tác vụ chú thích có thể đề cập đến các đối tượng đó nhưng cũng mô tả các mối quan hệ của chúng, chẳng hạn như "Hai người đi xe đạp đang chạy bên cạnh một chiếc ô tô."
• Optical character recognition trích xuất chữ viết hiển thị từ các biển báo, tài liệu hoặc bao bì. Một chú thích sẽ tóm tắt khung cảnh thay vì chép lại toàn bộ văn bản.
• Visual question answering trả lời một câu hỏi cụ thể về một hình ảnh. Tác vụ chú thích tạo ra một mô tả chung mà không yêu cầu phải có câu hỏi.
• Alt text truyền đạt mục đích của hình ảnh trong một ngữ cảnh cụ thể. Một chú thích tự động có thể cung cấp bản thảo, nhưng nó không tự động trở thành alt text phù hợp vì hình ảnh trang trí, chức năng và phức tạp đòi hỏi các phương pháp xử lý khác nhau theo W3C Images Tutorial.

Các ứng dụng trong thực tế#

• Accessible Web Content: Một nền tảng xuất bản có thể tạo các bản mô tả nháp cho các bức ảnh mới tải lên. Đối với một hình ảnh tin tức, chú thích có thể xác định những người chính, bối cảnh và hành động trước khi biên tập viên kiểm tra tính chính xác và mức độ liên quan của nó. Các biểu đồ phức tạp vẫn cần một mô tả dài có cấu trúc thay vì một bản tóm tắt trực quan chung chung.

• Searchable Media Libraries: Một nhà bán lẻ hoặc công ty truyền thông có thể tạo chú thích cho các bộ sưu tập hình ảnh lớn và lập chỉ mục văn bản được tạo ra. Người dùng sau đó có thể tìm kiếm các cụm từ như "ba lô màu đỏ bên cạnh lều" ngay cả khi các tệp chưa từng được gắn thẻ thủ công. Chú thích có thể bổ sung cho các embedding hình ảnh và metadata, giúp cải thiện khả năng tìm kiếm trên các danh mục lớn.

Thực tế áp dụng với Ultralytics YOLO#

Các bộ tạo chú thích có thể tự bịa ra các chi tiết không có thực, đặc biệt là trong các khung cảnh đông đúc hoặc không quen thuộc. Một thiết kế thực tế là gắn kết việc tạo sinh với các quan sát có cấu trúc từ Ultralytics YOLO26. YOLO prediction workflow được tài liệu hóa sau đây sẽ trích xuất tên các đối tượng được phát hiện mà một thành phần ngôn ngữ hạ nguồn có thể sử dụng làm bối cảnh trực quan:

from ultralytics import YOLO

# Detect objects that can ground a downstream caption generator
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact textual context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

Quy trình làm việc này không tạo ra chú thích cuối cùng. Thay vào đó, nó cung cấp các nhãn đối tượng có thể xác minh để giới hạn một language model. Đối với các miền tùy chỉnh, Ultralytics Platform hỗ trợ chú thích tập dữ liệu trên đám mây, huấn luyện, triển khai và giám sát cho thành phần nhận thức của một pipeline chú thích.

Hạn chế và đánh giá#

Chú thích có thể bỏ sót các đối tượng quan trọng, nhầm lẫn các mối quan hệ, tái tạo sự thiên vị của tập dữ liệu hoặc ảo giác ra các chi tiết không nhìn thấy được. Điểm độ tin cậy (confidence score) có thể giúp xếp hạng các mô tả ứng viên, như được minh họa bởi Azure image description API, nhưng một câu trôi chảy không nhất thiết phải đúng sự thật.

Do đó, việc đánh giá nên kiểm tra độ bao phủ đối tượng, tính xác thực dựa trên thực tế, khả năng đọc, độ thiên vị và tính hữu ích đối với đối tượng mục tiêu. Vì một số chú thích có thể đều đúng như nhau, các nhóm nên kết hợp các phép đo tự động với việc đánh giá của con người, tuân theo các phương pháp thực hành như generative AI evaluation và NIST AI Risk Management Framework rộng lớn hơn. Sự phê duyệt của con người vẫn đặc biệt quan trọng đối với nội dung trợ năng, y tế, an toàn quan trọng hoặc công khai.