Tìm hiểu về phân đoạn khái niệm theo prompt

AI thị giác đang phát triển nhanh chóng và được sử dụng rộng rãi để phân tích hình ảnh và video trong môi trường thực tế. Chẳng hạn, nhiều ứng dụng từ hệ thống quản lý giao thông đến phân tích bán lẻ đang được tích hợp với các model thị giác máy tính.

Trong nhiều ứng dụng này, các model thị giác, chẳng hạn như model phát hiện đối tượng, được huấn luyện để nhận diện một tập hợp đối tượng xác định trước, bao gồm phương tiện, con người và thiết bị. Trong quá trình huấn luyện, các model này được cung cấp nhiều ví dụ đã gán nhãn để học cách từng đối tượng xuất hiện và phân biệt đối tượng đó với những đối tượng khác trong khung cảnh.

Đối với các tác vụ phân đoạn, model tiến thêm một bước bằng cách tạo đường viền chính xác ở cấp độ pixel xung quanh những đối tượng này. Nhờ đó, hệ thống có thể xác định chính xác vị trí của từng đối tượng trong hình ảnh.

Phương pháp này hoạt động tốt miễn là hệ thống chỉ cần nhận diện những gì đã được dùng để huấn luyện. Tuy nhiên, trong môi trường thực tế, điều đó hiếm khi xảy ra.

Các khung cảnh thị giác thường xuyên biến đổi. Đối tượng và khái niệm hình ảnh mới xuất hiện, điều kiện thay đổi và người dùng thường muốn phân đoạn những đối tượng không có trong cấu hình huấn luyện ban đầu.

Những hạn chế này đặc biệt rõ trong các tác vụ phân đoạn. Khi AI thị giác tiếp tục phát triển, nhu cầu về các model phân đoạn linh hoạt hơn, có thể thích ứng với khái niệm mới mà không cần huấn luyện lại liên tục, ngày càng tăng. Vì vậy, phân đoạn khái niệm có thể hướng dẫn bằng prompt (PCS) đang thu hút sự chú ý.

Thay vì dựa vào một danh sách cố định các danh mục đối tượng, người dùng có thể mô tả nội dung cần phân đoạn bằng văn bản, prompt hình ảnh hoặc ảnh ví dụ. Sau đó, các model này có thể xác định và phân đoạn mọi vùng khớp với khái niệm được mô tả, ngay cả khi khái niệm đó không được đưa vào quá trình huấn luyện một cách rõ ràng.

Trong bài viết này, chúng ta sẽ tìm hiểu cách hoạt động của phân đoạn khái niệm có thể hướng dẫn bằng prompt, điểm khác biệt so với các phương pháp truyền thống và những ứng dụng hiện nay.

Phân đoạn khái niệm có thể hướng dẫn bằng prompt là gì?#

Trong hầu hết trường hợp, các model phân đoạn được huấn luyện để nhận diện một danh sách ngắn các loại đối tượng. Phương pháp này hoạt động tốt khi hệ thống AI thị giác chỉ cần phát hiện và phân đoạn một tập hợp đối tượng cụ thể.

Tuy nhiên, trong các ứng dụng thực tế, khung cảnh thị giác luôn biến đổi. Đối tượng mới xuất hiện, yêu cầu tác vụ thay đổi và người dùng thường cần phân đoạn những khái niệm không có trong tập nhãn ban đầu. Để đáp ứng các tình huống này, thông thường cần thu thập dữ liệu và chú thích mới có chất lượng cao rồi huấn luyện lại model, làm tăng chi phí và kéo dài thời gian triển khai.

Phân đoạn khái niệm có thể hướng dẫn bằng prompt giải quyết vấn đề này bằng cách cho phép người dùng chỉ dẫn model cần tìm gì, thay vì chọn từ một danh sách nhãn cố định. Người dùng mô tả đối tượng hoặc ý tưởng cần tìm, và model sẽ làm nổi bật mọi vùng tương ứng trong hình ảnh. Điều này giúp kết nối ý định của người dùng với các pixel thực tế trong hình ảnh dễ dàng hơn nhiều.

Hình 1. Minh họa cách dùng prompt khái niệm cho tác vụ phân đoạn (Nguồn)

Hướng dẫn phân đoạn bằng nhiều loại prompt#

Các model hỗ trợ phân đoạn khái niệm có thể hướng dẫn bằng prompt rất linh hoạt vì có thể nhận nhiều loại đầu vào khác nhau. Nói cách khác, có nhiều cách để chỉ cho model biết cần tìm gì, chẳng hạn như mô tả bằng văn bản, gợi ý hình ảnh hoặc ảnh ví dụ.

Hãy cùng xem xét kỹ hơn từng phương pháp:

• Prompt văn bản: Có thể dùng các cụm từ ngắn như “xe buýt trường học” hoặc “vùng khối u” để mô tả khái niệm cần phân đoạn. Model diễn giải ý nghĩa của từ ngữ và xác định các vùng tương ứng.
• Prompt hình ảnh: Các prompt này sử dụng điểm, khung hoặc phác thảo sơ bộ bên trong hình ảnh làm gợi ý. Những tín hiệu này hướng dẫn vị trí cần tìm và giúp xác định đường biên cuối cùng.
• Ảnh mẫu: Ảnh tham chiếu hoặc các vùng ảnh được cắt nhỏ thể hiện khái niệm cần quan tâm. Model tìm những vùng tương tự về mặt hình ảnh và phân đoạn chúng dựa trên diện mạo trực quan.

Khác biệt giữa PCS và phương pháp phân đoạn truyền thống#

Trước khi tìm hiểu cách hoạt động của phân đoạn khái niệm có thể hướng dẫn bằng prompt, hãy cùng so sánh phương pháp này với một số phương pháp phân đoạn đối tượng truyền thống.

PCS cho phép xây dựng các model có vốn từ mở và hoạt động dựa trên prompt. PCS có thể xử lý các khái niệm mới được mô tả qua prompt, còn phương pháp phân đoạn truyền thống thì không. Có một số loại phương pháp phân đoạn truyền thống, mỗi loại đều có những giả định và hạn chế riêng.

Dưới đây là một số loại phân đoạn truyền thống tiêu biểu:

• Phân đoạn ngữ nghĩa: Mỗi pixel trong hình ảnh được gán nhãn là một phần của danh mục như đường, tòa nhà hoặc người. Tất cả pixel có cùng nhãn được nhóm lại, vì vậy model không phân biệt các thực thể đối tượng riêng lẻ.
• Phân đoạn đối tượng: Model xác định và phân đoạn từng đối tượng riêng lẻ, vì vậy hai người hoặc hai chiếc ô tô được xem là các đối tượng riêng biệt.
• Phân đoạn toàn cảnh: Kỹ thuật này kết hợp phân đoạn ngữ nghĩa và phân đoạn đối tượng để cung cấp cái nhìn toàn diện về khung cảnh, bao gồm cả vùng nền lẫn các đối tượng riêng lẻ.

Tất cả các phương pháp này đều dựa vào một danh sách xác định trước gồm các danh mục đối tượng. Chúng hoạt động tốt trong phạm vi đó, nhưng xử lý không tốt các khái niệm nằm ngoài phạm vi. Khi cần phân đoạn một đối tượng cụ thể mới, thông thường phải bổ sung dữ liệu huấn luyện và tinh chỉnh model.

PCS hướng đến việc thay đổi điều đó. Thay vì bị giới hạn trong các danh mục xác định trước, PCS cho phép bạn mô tả nội dung cần phân đoạn trong hình ảnh tại thời điểm suy luận.

Quá trình phát triển của các model PCS#

Tiếp theo, hãy cùng tìm hiểu quá trình các model phân đoạn phát triển thành phân đoạn khái niệm có thể hướng dẫn bằng prompt.

Một model nền tảng phổ biến đánh dấu bước chuyển đổi trong lĩnh vực phân đoạn là SAM, tức Segment Anything Model (Mô hình Phân đoạn Mọi thứ). Model này được giới thiệu vào năm 2023. Thay vì dựa vào các danh mục đối tượng xác định trước, SAM cho phép người dùng hướng dẫn quá trình phân đoạn bằng các prompt hình ảnh đơn giản như điểm hoặc khung giới hạn.

Với SAM, người dùng không còn phải chọn nhãn. Họ chỉ cần chỉ ra vị trí của một đối tượng, và model sẽ tạo mask cho đối tượng đó. Điều này giúp việc phân đoạn linh hoạt hơn, nhưng người dùng vẫn cần cho model biết nơi cần tìm.

SAM 2, ra mắt năm 2024, phát triển ý tưởng này bằng cách xử lý các khung cảnh phức tạp hơn và mở rộng khả năng phân đoạn có thể hướng dẫn bằng prompt sang video. Model cải thiện độ vững trước các điều kiện ánh sáng, hình dạng đối tượng và chuyển động khác nhau, đồng thời vẫn chủ yếu dựa vào prompt hình ảnh để hướng dẫn phân đoạn.

Model SAM 3 là bước tiến mới nhất trong quá trình phát triển này. Model được phát hành vào năm ngoái và là model thống nhất kết hợp khả năng hiểu hình ảnh với hướng dẫn bằng ngôn ngữ, cho phép hoạt động nhất quán trong các tác vụ phân đoạn hình ảnh và video.

Với SAM 3, người dùng không bị giới hạn ở việc chỉ hoặc vẽ prompt. Thay vào đó, họ có thể mô tả nội dung cần phân đoạn bằng văn bản, và model sẽ tìm kiếm trong hình ảnh hoặc các khung hình video những vùng khớp với mô tả đó.

Phân đoạn được định hướng bằng các khái niệm thay vì những danh mục đối tượng cố định, hỗ trợ sử dụng từ vựng mở trong nhiều bối cảnh khác nhau và theo thời gian. Trên thực tế, SAM 3 hoạt động trong một không gian khái niệm lớn đã được học, được neo vào ontology xây dựng từ các nguồn như Wikidata và mở rộng bằng dữ liệu huấn luyện quy mô lớn.

Hình 2. Ví dụ về việc dùng prompt để yêu cầu SAM 3 phân đoạn một ảnh đơn (Nguồn)

So với các phiên bản trước chủ yếu dựa vào prompt hình học, SAM 3 đánh dấu bước tiến hướng tới phương pháp phân đoạn linh hoạt hơn, dựa trên khái niệm. Điều này giúp model phù hợp hơn với các ứng dụng thực tế, nơi đối tượng hoặc ý tưởng cần quan tâm có thể thay đổi và không phải lúc nào cũng xác định được từ trước.

Tìm hiểu cách hoạt động của phân đoạn hình ảnh có thể điều khiển bằng prompt#

Vậy phân đoạn khái niệm có thể điều khiển bằng prompt hoạt động như thế nào? Phương pháp này dựa trên các model thị giác và ngôn ngữ thị giác pretrained quy mô lớn, được huấn luyện trên các tập hợp khổng lồ gồm hình ảnh và trong nhiều trường hợp là cả văn bản đi kèm. Quá trình huấn luyện này giúp chúng học được các mẫu hình ảnh tổng quát và ý nghĩa ngữ nghĩa.

Hầu hết các model PCS sử dụng kiến trúc dựa trên Transformer, xử lý toàn bộ ảnh cùng lúc để hiểu mối liên hệ giữa các vùng khác nhau. Vision Transformer trích xuất đặc trưng hình ảnh từ ảnh, trong khi text encoder chuyển từ ngữ thành biểu diễn số mà model có thể xử lý.

Trong quá trình huấn luyện, các model này có thể học từ nhiều loại giám sát khác nhau, bao gồm mask ở cấp pixel xác định ranh giới chính xác của đối tượng, bounding box xác định gần đúng vị trí đối tượng và nhãn cấp ảnh mô tả những gì xuất hiện trong ảnh. Huấn luyện bằng nhiều loại dữ liệu được gán nhãn giúp model nắm bắt cả chi tiết nhỏ lẫn các khái niệm hình ảnh tổng quát hơn.

Ở thời điểm inference, tức là khi model thực sự được sử dụng để đưa ra dự đoán, PCS thực hiện quy trình dựa trên prompt. Người dùng cung cấp chỉ dẫn thông qua mô tả bằng văn bản, gợi ý hình ảnh như điểm hoặc box, hoặc ảnh mẫu. Model mã hóa cả prompt lẫn ảnh thành một biểu diễn nội bộ chung, hay embedding, rồi xác định những vùng phù hợp với khái niệm được mô tả.

Sau đó, mask decoder chuyển biểu diễn chung này thành các mask phân đoạn chính xác ở cấp pixel. Vì model liên kết đặc trưng hình ảnh với ý nghĩa ngữ nghĩa, model có thể phân đoạn các khái niệm mới ngay cả khi những khái niệm đó không được đưa vào quá trình huấn luyện một cách rõ ràng.

Ngoài ra, thường có thể tinh chỉnh đầu ra bằng cách điều chỉnh prompt hoặc bổ sung chỉ dẫn, giúp model xử lý các cảnh phức tạp hoặc mơ hồ. Quy trình lặp này hỗ trợ tối ưu hóa thiết thực trong quá trình triển khai.

Các model phân đoạn khái niệm có thể điều khiển bằng prompt thường được đánh giá dựa trên khả năng phân đoạn các khái niệm chưa từng gặp và mức độ ổn định khi hoạt động trong nhiều bối cảnh khác nhau. Các benchmark thường tập trung vào chất lượng mask, khả năng khái quát hóa và hiệu quả tính toán, phản ánh những yêu cầu triển khai trong thực tế.

Các ứng dụng PCS trong thực tế#

Tiếp theo, hãy cùng tìm hiểu những lĩnh vực đã ứng dụng phân đoạn khái niệm có thể điều khiển bằng prompt và bắt đầu tạo ra tác động thực tế.

Phân đoạn ảnh linh hoạt trong chẩn đoán hình ảnh y khoa#

Chẩn đoán hình ảnh y khoa bao gồm nhiều cấu trúc sinh học, bệnh lý và loại ảnh chụp, đồng thời mỗi ngày lại xuất hiện thêm các trường hợp mới. Các model phân đoạn truyền thống gặp khó khăn khi phải theo kịp sự đa dạng này.

PCS phù hợp tự nhiên với lĩnh vực này vì cho phép bác sĩ mô tả điều họ muốn tìm thay vì phải chọn từ một danh sách ngắn, cứng nhắc. Với cụm từ mô tả hoặc prompt hình ảnh, PCS có thể được dùng để phân đoạn trực tiếp các cơ quan hoặc vùng đáng quan tâm mà không cần huấn luyện lại model cho mỗi tác vụ mới. Cách này giúp đáp ứng nhiều nhu cầu lâm sàng khác nhau dễ dàng hơn, giảm nhu cầu vẽ mask thủ công và hoạt động trên nhiều loại ảnh chụp.

Một ví dụ tiêu biểu là MedSAM-3, model điều chỉnh kiến trúc SAM 3 để hỗ trợ PCS trong chẩn đoán hình ảnh y khoa bằng prompt văn bản. Có thể dùng các thuật ngữ giải phẫu và bệnh lý cụ thể làm prompt cho model, chẳng hạn như tên cơ quan như gan hoặc thận và các khái niệm liên quan đến tổn thương như khối u hoặc tổn thương. Khi nhận prompt, model trực tiếp phân đoạn vùng tương ứng trong ảnh y khoa.

MedSAM-3 cũng tích hợp các mô hình ngôn ngữ lớn đa phương thức (MLLMs), có khả năng suy luận trên cả văn bản lẫn hình ảnh. Các model này hoạt động theo thiết lập có agent tham gia vòng lặp, trong đó kết quả được tinh chỉnh lặp đi lặp lại để cải thiện độ chính xác ở những trường hợp khó hơn.

Hình 3. Pipeline MedSAM-3 phân đoạn khối u trong ảnh y khoa bằng prompt văn bản (Nguồn)

MedSAM-3 hoạt động tốt trên dữ liệu X-quang, MRI, CT, siêu âm và video, cho thấy PCS có thể hỗ trợ quy trình chẩn đoán hình ảnh y khoa linh hoạt và hiệu quả hơn trong môi trường lâm sàng thực tế.

Phân đoạn thích ứng cho phẫu thuật robot và tự động hóa#

Phẫu thuật robot dựa vào hệ thống thị giác để theo dõi dụng cụ và hiểu các cảnh phẫu thuật thay đổi nhanh chóng. Dụng cụ di chuyển nhanh, ánh sáng thay đổi và dụng cụ mới có thể xuất hiện bất cứ lúc nào, khiến việc duy trì các hệ thống nhãn được xác định trước trở nên khó khăn.

Với PCS, robot có thể theo dõi dụng cụ, điều khiển camera và bám sát các bước phẫu thuật theo thời gian thực. Điều này giảm công sức gán nhãn thủ công và giúp hệ thống dễ thích ứng với các quy trình phẫu thuật khác nhau. Bác sĩ phẫu thuật hoặc hệ thống tự động có thể dùng prompt văn bản như “kẹp”, “dao mổ” hoặc “dụng cụ camera” để chỉ rõ đối tượng cần phân đoạn trong ảnh.

Hình 4. Phân đoạn dụng cụ phẫu thuật được sử dụng trong quá trình phẫu thuật robot (Nguồn)

Phân đoạn từ vựng mở với Ultralytics YOLOE-26#

Một model hiện đại thú vị khác liên quan đến phân đoạn khái niệm có thể điều khiển bằng prompt là Ultralytics YOLOE-26. Model của chúng tôi đưa khả năng phân đoạn từ vựng mở, dựa trên prompt vào họ model Ultralytics YOLO.

YOLOE-26 được xây dựng trên kiến trúc Ultralytics YOLO26 và hỗ trợ phân đoạn instance từ vựng mở. YOLOE-26 cho phép người dùng định hướng quá trình phân đoạn bằng một số cách.

Model hỗ trợ prompt văn bản, trong đó các cụm từ ngắn gắn với hình ảnh có thể xác định đối tượng mục tiêu, cũng như prompt hình ảnh cung cấp thêm chỉ dẫn dựa trên tín hiệu trong ảnh. Ngoài ra, YOLOE-26 có chế độ không cần prompt để inference zero-shot, trong đó model phát hiện và phân đoạn đối tượng từ từ vựng tích hợp sẵn mà không cần prompt của người dùng.

YOLOE-26 phù hợp với các ứng dụng như phân tích video, nhận thức cho robot và hệ thống biên, nơi danh mục đối tượng có thể thay đổi nhưng độ trễ thấp và thông lượng ổn định vẫn rất cần thiết. Model cũng đặc biệt hữu ích cho việc gán nhãn dữ liệu và tuyển chọn dataset, vì giúp tinh gọn quy trình bằng cách tự động hóa một phần công việc annotation.

Ưu và nhược điểm của phân đoạn khái niệm có thể điều khiển bằng prompt#

Dưới đây là một số lợi ích chính khi sử dụng phân đoạn khái niệm có thể điều khiển bằng prompt:

• Lặp và tạo nguyên mẫu nhanh hơn: Có thể nhanh chóng thử nghiệm các tác vụ phân đoạn mới bằng cách thay đổi prompt thay vì xây dựng lại dataset hoặc huấn luyện lại model, từ đó đẩy nhanh quá trình thử nghiệm và phát triển.
• Khả năng thích ứng giữa các lĩnh vực: Thường có thể áp dụng cùng một model PCS cho nhiều lĩnh vực khác nhau, chẳng hạn như chẩn đoán hình ảnh y khoa, robot hoặc phân tích video, với rất ít thay đổi đối với quy trình làm việc.
• Tinh chỉnh tương tác: Người dùng có thể điều chỉnh prompt theo từng vòng hoặc bổ sung chỉ dẫn để cải thiện kết quả, giúp xử lý các cảnh mơ hồ hoặc trường hợp ngoại lệ dễ dàng hơn mà không cần huấn luyện lại.

Mặc dù PCS có những ưu điểm rõ rệt, dưới đây là một số hạn chế cần cân nhắc:

• Độ nhạy với prompt: Những thay đổi nhỏ trong cách viết hoặc cung cấp prompt có thể ảnh hưởng đến đầu ra. Prompt quá mơ hồ hoặc quá cụ thể có thể dẫn đến kết quả phân đoạn không đầy đủ hoặc sai.
• Hành vi kém dự đoán hơn: Vì model diễn giải prompt thay vì chọn từ các nhãn cố định, kết quả có thể thay đổi nhiều hơn giữa các cảnh và đầu vào, điều này có thể gây vấn đề cho các pipeline được kiểm soát chặt chẽ.
• Diễn giải khái niệm mơ hồ: Một số khái niệm mang tính chủ quan hoặc được xác định chưa rõ ràng, dẫn đến kết quả phân đoạn không nhất quán giữa người dùng hoặc giữa các ảnh.
• Độ tin cậy hạn chế với mục tiêu có tính đặc thù cao: Các model dựa trên prompt nhìn chung kém tin cậy hơn đối với những tác vụ được xác định hẹp và đặc thù theo từng instance, chẳng hạn như phát hiện lỗi, nơi cần xác định chính xác và nhất quán các đặc điểm khó nhận thấy.

Lựa chọn giữa phân đoạn có thể điều khiển bằng prompt và phân đoạn truyền thống#

Khi tìm hiểu về phân đoạn có thể điều khiển bằng prompt, bạn có thể băn khoăn ứng dụng nào phù hợp nhất với phương pháp này và khi nào model thị giác máy tính truyền thống như Ultralytics YOLO26 sẽ phù hợp hơn với bài toán cần giải quyết. Phân đoạn có thể điều khiển bằng prompt hoạt động tốt với các đối tượng tổng quát, nhưng không phù hợp với những trường hợp cần kết quả chính xác và nhất quán cao.

Phát hiện lỗi là một ví dụ điển hình. Trong sản xuất, lỗi thường rất nhỏ và khó nhận thấy, chẳng hạn như vết xước nhỏ, vết lõm, lệch vị trí hoặc bất thường trên bề mặt. Lỗi cũng có thể khác nhau đáng kể tùy thuộc vào vật liệu, ánh sáng và điều kiện sản xuất.

Những vấn đề này khó mô tả bằng một prompt đơn giản và càng khó phát hiện đáng tin cậy hơn đối với một model đa dụng. Nhìn chung, các model dựa trên prompt thường bỏ sót lỗi hoặc cho kết quả không ổn định, trong khi model được huấn luyện riêng trên dữ liệu lỗi đáng tin cậy hơn nhiều đối với các hệ thống kiểm tra trong thực tế.

Điểm chính cần ghi nhớ#

Phân đoạn khái niệm có thể điều khiển bằng prompt giúp hệ thống thị giác dễ thích ứng hơn với thế giới thực, nơi các đối tượng và ý tưởng mới liên tục xuất hiện. Thay vì bị giới hạn trong các nhãn cố định, người dùng chỉ cần mô tả nội dung muốn phân đoạn và để model xử lý phần còn lại, qua đó tiết kiệm thời gian và giảm công việc thủ công. Dù vẫn còn hạn chế, PCS đã và đang thay đổi cách ứng dụng phân đoạn trong thực tế và có khả năng sẽ trở thành một phần cốt lõi của các hệ thống thị giác trong tương lai.

Khám phá thêm về AI bằng cách truy cập repository GitHub và tham gia cộng đồng của chúng tôi. Xem các trang giải pháp để tìm hiểu về AI trong robot và thị giác máy tính trong sản xuất. Khám phá các tùy chọn cấp phép của chúng tôi để bắt đầu ứng dụng AI thị giác ngay hôm nay!