Visual Prompting

Gợi ý bằng hình ảnh là một kỹ thuật mới nổi trong thị giác máy tính, trong đó người dùng cung cấp các tín hiệu không gian hoặc hình ảnh—chẳng hạn như điểm, bounding box hoặc nét vẽ—để hướng sự tập trung của model AI vào các đối tượng hoặc vùng cụ thể trong ảnh. Khác với kỹ thuật thiết kế prompt truyền thống, vốn chủ yếu dựa vào mô tả bằng văn bản, gợi ý bằng hình ảnh cho phép tương tác chính xác và trực quan hơn với các hệ thống Trí tuệ nhân tạo (AI). Phương pháp này tận dụng khả năng của các model nền tảng hiện đại để thực hiện các tác vụ như segmentation và detection mà không cần retraining trên quy mô lớn hoặc các dataset được gán nhãn lớn. Bằng cách "chỉ ra" hiệu quả những gì quan trọng, người dùng có thể điều chỉnh các model đa dụng cho những tác vụ mới ngay lập tức, thu hẹp khoảng cách giữa ý định của con người và khả năng nhận thức của máy.

Cơ chế của gợi ý bằng hình ảnh#

Về cốt lõi, gợi ý bằng hình ảnh hoạt động bằng cách đưa thông tin không gian trực tiếp vào pipeline xử lý của model. Khi người dùng nhấp vào một đối tượng hoặc vẽ một box, các đầu vào này được chuyển đổi thành các embedding dựa trên tọa độ để mạng neural tích hợp với các đặc trưng hình ảnh. Quy trình này đóng vai trò cốt lõi trong các kiến trúc tương tác như Model Segment Anything (SAM), nơi model dự đoán các mask dựa trên các prompt hình học.

Tính linh hoạt của gợi ý bằng hình ảnh cho phép nhiều kiểu tương tác khác nhau:

• Point Prompt: Người dùng nhấp vào một pixel cụ thể để chỉ ra đối tượng cần quan tâm. Sau đó, model mở rộng lựa chọn này đến toàn bộ đường biên của đối tượng.
• Box Prompt: Việc vẽ một bounding box cung cấp khả năng định vị sơ bộ, báo hiệu cho model thực hiện segmentation hoặc phân loại mọi thứ nằm trong vùng đó.
• Scribble Prompt: Các đường vẽ tự do trên một đối tượng có thể giúp phân biệt những cảnh phức tạp, trong đó các đối tượng chồng lấn hoặc có texture tương tự nhau.

Các nghiên cứu gần đây được trình bày tại CVPR 2024 cho thấy gợi ý bằng hình ảnh giúp giảm đáng kể thời gian cần thiết cho gán nhãn dữ liệu, vì người gán nhãn có thể hiệu chỉnh dự đoán của model theo thời gian thực bằng những cú nhấp đơn giản thay vì tự vẽ polygon thủ công.

Gợi ý bằng hình ảnh so với gợi ý bằng văn bản#

Mặc dù cả hai kỹ thuật đều nhằm định hướng hành vi của model, điều quan trọng là phải phân biệt gợi ý bằng hình ảnh với các phương pháp dựa trên văn bản. Việc tạo text-to-image hoặc detection zero-shot dựa vào xử lý ngôn ngữ tự nhiên (NLP) để diễn giải các mô tả ngữ nghĩa (ví dụ: "tìm chiếc xe màu đỏ"). Tuy nhiên, ngôn ngữ có thể mơ hồ hoặc không đủ để mô tả các vị trí không gian chính xác hay những hình dạng trừu tượng.

Gợi ý bằng hình ảnh giải quyết sự mơ hồ này bằng cách gắn chỉ dẫn trực tiếp vào không gian pixel. Chẳng hạn, trong phân tích ảnh y tế, bác sĩ chẩn đoán hình ảnh nhấp vào một nốt đáng ngờ sẽ chính xác hơn nhiều so với việc cố gắng mô tả tọa độ chính xác và hình dạng bất thường của nó bằng văn bản. Thông thường, các workflow mạnh mẽ nhất kết hợp cả hai phương pháp—sử dụng văn bản để lọc theo ngữ nghĩa và prompt hình ảnh để đạt độ chính xác về không gian—một khái niệm được gọi là học đa phương thức.

Các ứng dụng trong thực tế#

Khả năng thích ứng của gợi ý bằng hình ảnh đã thúc đẩy việc áp dụng nhanh chóng công nghệ này trong nhiều ngành đa dạng:

• Chẩn đoán y khoa tương tác: Bác sĩ sử dụng các công cụ gợi ý bằng hình ảnh để cô lập khối u hoặc cơ quan trong ảnh chụp MRI. Chỉ bằng cách nhấp vào một vùng cần quan tâm, họ có thể ngay lập tức tạo ra các phép đo thể tích 3D, hỗ trợ phát hiện khối u chính xác và lập kế hoạch phẫu thuật.
• Chỉnh sửa ảnh thông minh: Trong các phần mềm dành cho người dùng như Adobe Photoshop hoặc ứng dụng di động, gợi ý bằng hình ảnh cung cấp năng lượng cho các công cụ "chọn thông minh". Người dùng có thể chạm vào một người hoặc đối tượng để xóa nền hoặc áp dụng bộ lọc có mục tiêu, tận dụng các công nghệ instance segmentation bên dưới mà không cần kỹ năng tạo mask thủ công.
• Thao tác robot: Trong AI trong lĩnh vực robot, robot có thể được hướng dẫn nhặt các vật phẩm cụ thể thông qua giao diện hình ảnh. Người vận hành nhấp vào một đối tượng trong luồng hình ảnh từ camera của robot, cung cấp một prompt hình ảnh mà robot chuyển đổi thành tọa độ gắp, hỗ trợ tự động hóa human-in-the-loop trong kho hàng.

Triển khai với Ultralytics#

Hệ sinh thái Ultralytics hỗ trợ các workflow gợi ý bằng hình ảnh, đặc biệt thông qua các model như FastSAM và SAM. Những model này cho phép developer truyền tọa độ điểm hoặc box theo cách lập trình để truy xuất các mask segmentation.

Ví dụ sau đây minh họa cách sử dụng package ultralytics để áp dụng point prompt vào một ảnh, hướng dẫn model thực hiện segmentation đối tượng nằm tại các tọa độ cụ thể.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Nâng cao tính linh hoạt của model#

Gợi ý bằng hình ảnh thể hiện sự chuyển dịch sang thị giác máy tính "có thể prompt", trong đó các model không còn là những "black box" tĩnh mà trở thành các công cụ tương tác. Khả năng này rất cần thiết cho các vòng lặp active learning, trong đó model nhanh chóng cải thiện bằng cách tiếp nhận phản hồi của người dùng.

Đối với các developer muốn tích hợp những khả năng này vào môi trường production, Ultralytics Platform cung cấp các công cụ để quản lý dataset và triển khai các model có thể xử lý đầu vào động. Khi nghiên cứu tiếp tục phát triển, chúng tôi kỳ vọng sẽ thấy sự tích hợp chặt chẽ hơn nữa giữa prompt hình ảnh và mô hình ngôn ngữ lớn (LLMs), cho phép các hệ thống suy luận về đầu vào hình ảnh với mức độ thành thạo tương đương cách chúng hiện xử lý văn bản.