YOLOE là gì? Đưa model thị giác máy tính tiến xa hơn

Phát hiện đối tượng là một tác vụ trọng yếu trong thị giác máy tính, với mục tiêu nhận diện và xác định vị trí của đối tượng trong ảnh hoặc video. Đây là một phần thiết yếu của thị giác máy tính, một lĩnh vực thuộc trí tuệ nhân tạo (AI) giúp máy móc hiểu và diễn giải dữ liệu hình ảnh. Ví dụ, phát hiện đối tượng có thể giúp nhận diện ô tô trong ảnh hoặc phát hiện người trong luồng video.

Một trong những dòng model nổi tiếng nhất hỗ trợ các tác vụ thị giác máy tính như phát hiện đối tượng là dòng model YOLO (Bạn chỉ nhìn một lần). Được thiết kế để đạt tốc độ và độ chính xác cao, các model YOLO liên tục được cải tiến theo thời gian. Ví dụ, Ultralytics YOLO11 (sau này được Ultralytics YOLO26 kế nhiệm) hoạt động hiệu quả trong các tình huống thực tế và cho kết quả chính xác ngay cả trong môi trường phức tạp hơn.

Tiếp nối đà phát triển này, một model mới có tên YOLOE hướng đến mở rộng năng lực của các model YOLO. Không giống các model truyền thống cần được huấn luyện lại để nhận diện đối tượng mới, YOLOE có thể dựa vào prompt văn bản hoặc hình ảnh đơn giản để phát hiện những đối tượng chưa từng thấy, nhờ đó thích ứng tốt hơn nhiều với môi trường luôn thay đổi.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn điều gì làm nên sự độc đáo của YOLOE, so sánh YOLOE với các model YOLO trước đây và cách bạn có thể bắt đầu sử dụng ngay hôm nay.

Tổng quan về YOLOE#

YOLOE là model thị giác máy tính đưa khả năng phát hiện đối tượng lên một tầm cao mới. Model này được các nhà nghiên cứu tại Đại học Thanh Hoa giới thiệu vào tháng 3 năm 2025. Điểm khác biệt của YOLOE so với các model truyền thống là khả năng phát hiện với từ vựng mở.

Trong khi hầu hết model được huấn luyện để nhận diện một danh sách đối tượng cố định, YOLOE cho phép bạn chỉ định nội dung cần tìm bằng một mô tả ngắn hoặc ảnh mẫu. Ví dụ, nếu bạn tìm “ba lô màu xanh lá”, bạn có thể nhập mô tả đó hoặc cho model xem ảnh, và YOLOE sẽ xác định vị trí ba lô trong khung cảnh.

Ngoài ra, ngay cả khi không có prompt, YOLOE vẫn có thể tự phát hiện nhiều vật thể thường gặp. Khả năng nhận diện những đối tượng mà model chưa từng thấy được gọi là phát hiện zero-shot. Khả năng này đặc biệt hữu ích trong môi trường năng động, nơi tác vụ hoặc đối tượng cần quan tâm có thể thay đổi bất ngờ.

Hình 1. Khám phá các khả năng của YOLOE.

Các tính năng chính của YOLOE#

YOLOE hỗ trợ nhiều tính năng được thiết kế để nâng cao hiệu suất trong các ứng dụng thực tế. Với khả năng xử lý cả đầu vào có cấu trúc lẫn phi cấu trúc, YOLOE mở ra những khả năng mới cho phát hiện và phân đoạn đối tượng.

Dưới đây là một số tính năng chính mà model này cung cấp:

• Phát hiện dựa trên prompt: YOLOE có thể tìm kiếm đối tượng dựa trên prompt văn bản ngắn hoặc ảnh mẫu. Điều này có nghĩa là bạn không cần huấn luyện lại model mỗi khi tác vụ thay đổi; chỉ cần mô tả hoặc cho model xem nội dung bạn muốn tìm.
• Phân đoạn đối tượng: Ngoài việc vẽ bounding box quanh các đối tượng, YOLOE còn có thể phác thảo hình dạng chính xác của từng đối tượng bằng tính năng phân đoạn đối tượng. Tính năng này đặc biệt hữu ích khi các đối tượng chồng lấp lên nhau hoặc khi bạn cần biết ranh giới chính xác của một đối tượng.
• Nhận diện đối tượng không cần prompt: YOLOE có thể nhận diện đối tượng ngay cả khi không có chỉ dẫn cụ thể. Model sử dụng tập hợp mô tả đã học trước để nhanh chóng nhận diện đối tượng, giúp quá trình xử lý nhanh và hiệu quả hơn.

So sánh YOLOE với các model YOLO khác#

Giờ đây, khi đã hiểu rõ hơn YOLOE là gì, hãy cùng xem một số model tương tự trong dòng YOLO.

Cùng với sự phát triển của thị giác máy tính, các model YOLO cũng không ngừng tiến bộ. Chẳng hạn, Ultralytics YOLOv8 bổ sung hỗ trợ cho các tác vụ mới như phân đoạn và phân loại, trong khi những phiên bản sau này như Ultralytics YOLO11 tập trung cải thiện độ chính xác và hiệu suất cho phạm vi tác vụ rộng hơn.

Ngoài ra, YOLO-World được phát hành vào tháng 1 năm 2024, giới thiệu khả năng sử dụng prompt dạng văn bản để người dùng mô tả đối tượng cần tìm. Dù YOLO-World là lựa chọn tốt cho phát hiện zero-shot, model này còn thiếu các tính năng như phân đoạn instance và hỗ trợ prompt hình ảnh.

YOLOE phát triển dựa trên YOLO-World bằng cách bổ sung các khả năng này, cải thiện tính linh hoạt và hiệu năng, đồng thời cung cấp một công cụ hữu ích hơn cho các ứng dụng thị giác máy tính trong thực tế. Để xem các bộ phát hiện từ vựng mở và model ngôn ngữ thị giác so sánh như thế nào trên các bộ dữ liệu phát hiện trong thực tế, hãy tham khảo bảng xếp hạng VLM của Ultralytics.

Hình 2. YOLO-World và YOLOE đều hỗ trợ phát hiện zero-shot.

Sử dụng YOLOE với package Python Ultralytics#

Dù muốn phát hiện các đối tượng cụ thể hay khám phá mọi thứ trong ảnh, bạn đều có thể dễ dàng bắt đầu với YOLOE. Model này được package Python Ultralytics hỗ trợ, giúp bạn dễ dàng tích hợp vào các dự án. Tiếp theo, hãy cùng tìm hiểu cách sử dụng.

Cài đặt package Ultralytics#

Bước đầu tiên là cài đặt gói Python Ultralytics bằng trình quản lý gói như pip. Bạn có thể thực hiện việc này bằng cách chạy pip install ultralytics trong terminal hoặc dấu nhắc lệnh.

Sau khi cài đặt package, bạn đã có mọi thứ cần thiết để tải model, tạo dự đoán và thử nghiệm các chế độ phát hiện khác nhau. Nếu gặp sự cố trong quá trình cài đặt, tài liệu chính thức của Ultralytics có mục khắc phục sự cố hữu ích.

Có một vài cách khác nhau để dùng YOLOE tạo dự đoán. Tạo dự đoán nghĩa là dùng model đã huấn luyện để nhận diện và xác định vị trí đối tượng trong ảnh hoặc video. Các phương pháp này cho phép bạn tùy chỉnh cách tương tác với model theo nhu cầu cụ thể.

Hãy cùng tìm hiểu lần lượt từng phương pháp.

Phát hiện đối tượng cụ thể bằng prompt văn bản hoặc hình ảnh#

YOLOE có thể phát hiện đối tượng dựa trên mô tả văn bản ngắn. Ví dụ, nếu bạn đang tìm một con ngựa đang di chuyển, bạn có thể dùng prompt như "horse walking."

Để bắt đầu, trước tiên hãy tải model YOLOE đã huấn luyện trước và đặt prompt (mô tả nội dung bạn muốn model tìm kiếm) như minh họa trong đoạn mã dưới đây.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Sau khi thiết lập model và prompt, bạn có thể chạy model trên ảnh hoặc video. Thay đường dẫn tệp trong mã bằng đường dẫn đến tệp ảnh hoặc video của bạn:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Thao tác này sẽ hiển thị ảnh với đối tượng được phát hiện đánh dấu rõ ràng dựa trên prompt của bạn. Bạn có thể thay đổi prompt để tìm các đối tượng khác nhau, chẳng hạn như "red suitcase," "bicycle," hoặc "zebra," tùy theo nội dung cần tìm.

Hình 3. Ví dụ sử dụng YOLOE để phát hiện đối tượng cụ thể bằng prompt văn bản.

Tương tự, bạn có thể dùng hình ảnh làm prompt cho YOLOE với package Python Ultralytics. Ở chế độ prompt hình ảnh, model sử dụng ảnh để tìm các vật thể có hình dáng tương tự trong một khung cảnh khác. Cách này đặc biệt hữu ích với các đối tượng khó mô tả hoặc không có nhãn rõ ràng.

Để tìm hiểu kỹ hơn về mã cho tính năng này, bạn có thể xem tài liệu Ultralytics.

Phát hiện đối tượng tổng quát bằng YOLOE#

Trong một số trường hợp, bạn có thể không biết chính xác cần tìm gì hoặc không tìm kiếm một đối tượng cụ thể. Khi đó, chế độ không cần prompt sẽ rất hữu ích.

Với tùy chọn này, bạn không cần nhập mô tả hay cung cấp ảnh mẫu. YOLOE tự phân tích ảnh và phát hiện mọi thứ có thể nhận diện, chẳng hạn như người, động vật, đồ nội thất hoặc vật dụng thường ngày.

Đây là cách hữu ích để khám phá khung cảnh mà không cần đưa ra chỉ dẫn cụ thể cho model. Dù bạn đang quét một căn phòng đông người hay xem lại đoạn phim có nhiều hoạt động, chế độ không cần prompt giúp bạn nhanh chóng nắm được những gì xuất hiện trong ảnh.

Bạn có thể dùng đoạn mã sau để chạy YOLOE ở chế độ không cần prompt. Trước tiên, model được tải; sau đó model xử lý ảnh và tự động phát hiện các đối tượng trong ảnh. Cuối cùng, kết quả được hiển thị và các đối tượng được phát hiện sẽ được làm nổi bật.

Nhớ thay đường dẫn tệp bằng đường dẫn thực tế đến ảnh của bạn.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Ảnh bên dưới là ví dụ về những gì YOLOE có thể phát hiện ở chế độ không cần prompt.

Hình 4. Sử dụng YOLOE ở chế độ không cần prompt.

Các ứng dụng thời gian thực của YOLOE#

Khả năng phản hồi cả prompt văn bản lẫn hình ảnh giúp YOLOE trở thành công cụ đáng tin cậy cho các ứng dụng thời gian thực. Tính linh hoạt của model đặc biệt hữu ích trong môi trường có nhịp độ nhanh, nơi thời gian và độ chính xác đóng vai trò thiết yếu.

Hãy cùng xem một số ví dụ thực tế về cách sử dụng YOLOE.

Cải thiện quy trình xử lý hành lý: Phát hiện hành lý theo thời gian thực#

Tại các sân bay đông đúc, việc xác định hành lý cụ thể có thể là một thách thức, nhất là khi xử lý các trường hợp thất lạc hành lý. YOLOE có thể tinh giản quy trình này bằng cách hỗ trợ quét video trực tiếp và nhanh chóng nhận diện vật phẩm dựa trên prompt đơn giản như “red bag.”

Nếu hành lý bị thất lạc hoặc để nhầm chỗ, nhân viên có thể dễ dàng đổi prompt để tìm vật phẩm khác, chẳng hạn như “black suitcase.” Khả năng thích ứng tức thì này giúp nhân viên sân bay nhanh chóng tìm đúng hành lý mà không cần xem lại nhiều giờ video hoặc huấn luyện lại model, nhờ đó đẩy nhanh và nâng cao hiệu quả xử lý hành lý cũng như giải quyết các trường hợp thất lạc.

Giám sát không gian công cộng bằng YOLOE#

Video giám sát tại các không gian công cộng như khu chợ và quán cà phê đông đúc thường ghi lại nhiều người, đồ vật và hoạt động khác nhau, thay đổi trong ngày. YOLOE có thể phân tích video này theo thời gian thực ở chế độ không cần prompt, tự động phát hiện những vật dụng như túi xách, bàn hoặc xe đạp mà không cần chỉ dẫn cụ thể.

Hình 5. YOLOE có thể phát hiện nhiều loại đối tượng tại một không gian công cộng đông đúc.

Điều này đặc biệt hữu ích để các đội ngũ an ninh phát hiện vật dụng bị bỏ quên hoặc theo dõi sự di chuyển của đám đông. Khả năng phát hiện nhiều đối tượng cùng lúc của YOLOE giúp quản lý không gian công cộng trong các sự kiện hoặc thời điểm đông đúc dễ dàng hơn, đồng thời giúp các đội ngũ nắm bắt tình hình và phản ứng nhanh chóng.

Ưu và nhược điểm của YOLOE#

Dưới đây là một số lợi ích chính khi sử dụng YOLOE cho các ứng dụng thị giác máy tính:

• Hiệu suất thời gian thực: YOLOE được tối ưu hóa để xử lý nhanh và hiệu quả, cho phép phát hiện theo thời gian thực, ngay cả trong môi trường năng động như luồng video trực tiếp hoặc không gian công cộng đông đúc.
• Khả năng mở rộng: YOLOE có khả năng mở rộng và hoạt động hiệu quả trong nhiều ứng dụng, từ an ninh và giám sát đến bán lẻ, chăm sóc sức khỏe và xe tự hành.
• Dễ sử dụng: Vì được package Python Ultralytics hỗ trợ, YOLOE dễ dàng tích hợp vào các dự án thị giác máy tính hiện có của bạn.

Tuy nhiên, bạn cần lưu ý một số hạn chế khi sử dụng YOLOE. Dưới đây là một vài yếu tố cần cân nhắc:

• Cần đủ dữ liệu huấn luyện: Mặc dù YOLOE hỗ trợ phát hiện zero-shot, hiệu suất của model với các đối tượng chưa từng thấy còn phụ thuộc vào khả năng khái quát hóa từ dữ liệu huấn luyện. Trong một số trường hợp, model có thể cần thêm dữ liệu hoặc tinh chỉnh để hoạt động tốt trong các tác vụ chuyên biệt cao.
• Nhạy cảm với chất lượng đầu vào: Độ chính xác của model có thể bị ảnh hưởng bởi ảnh hoặc video chất lượng thấp. Đầu vào mờ hoặc thiếu sáng có thể làm giảm khả năng phát hiện đối tượng chính xác của model, vì vậy đầu vào chất lượng cao rất quan trọng để đạt hiệu suất tối ưu.

Điểm chính cần ghi nhớ#

YOLOE tăng tính linh hoạt cho thị giác máy tính bằng cách cho phép người dùng định hướng quá trình phát hiện thông qua prompt văn bản hoặc hình ảnh. Model hoạt động hiệu quả trong các tình huống thực tế có khung cảnh thay đổi nhanh và không thể huấn luyện lại.

Từ xử lý hành lý đến giám sát không gian công cộng, YOLOE dễ dàng thích ứng với các tác vụ mới. Khi AI ngày càng dễ tiếp cận, những model như YOLOE đang giúp nhiều ngành công nghiệp ứng dụng công nghệ thị giác theo cách thiết thực và hiệu quả.

Tham gia cộng đồng và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về những đổi mới trong AI. Tìm hiểu các tiến bộ mới nhất trong những lĩnh vực như AI trong ngành bán lẻ và thị giác máy tính trong chăm sóc sức khỏe trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép và bắt đầu ứng dụng thị giác máy tính ngay hôm nay!