YOLOE là gì? Đưa model thị giác máy tính tiến xa hơn
Tìm hiểu cách YOLOE cho phép bạn tìm đối tượng bằng prompt đơn giản hoặc ảnh. Công nghệ này hỗ trợ thị giác máy tính thông minh và nhanh hơn mà không cần retrain hoặc fine-tune model.
Phát hiện đối tượng là một tác vụ quan trọng trong thị giác máy tính, với mục tiêu xác định và định vị các đối tượng trong hình ảnh hoặc video. Đây là một phần then chốt của thị giác máy tính, một lĩnh vực thuộc trí tuệ nhân tạo (AI) giúp máy móc hiểu và diễn giải dữ liệu trực quan. Ví dụ, phát hiện đối tượng có thể giúp xác định một chiếc xe trong ảnh hoặc phát hiện một người trong luồng video.
Một trong những dòng model nổi tiếng nhất hỗ trợ các tác vụ thị giác máy tính như phát hiện đối tượng là dòng model YOLO (You Only Look Once). Được thiết kế để đạt tốc độ và độ chính xác cao, các model YOLO liên tục được cải tiến theo thời gian. Chẳng hạn, một trong những phiên bản mới nhất, Ultralytics YOLO11, hoạt động tốt trong các tình huống thực tế, cung cấp kết quả chính xác ngay cả trong những môi trường phức tạp hơn.
Tiếp tục thúc đẩy tiến bộ này, một model mới có tên YOLOE hướng đến việc mở rộng khả năng của các model YOLO. Không giống các model truyền thống cần được huấn luyện lại để nhận diện đối tượng mới, YOLOE có thể sử dụng các prompt văn bản hoặc hình ảnh đơn giản để phát hiện những đối tượng chưa từng thấy, giúp model thích ứng tốt hơn với các môi trường thay đổi.
Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về điểm khiến YOLOE trở nên độc đáo, cách model này so sánh với các model YOLO trước đây và cách bạn có thể bắt đầu sử dụng ngay hôm nay. Hãy bắt đầu nào!
Tổng quan về YOLOE#
YOLOE là một model thị giác máy tính đưa hoạt động phát hiện đối tượng tiến xa hơn. Model này được các nhà nghiên cứu tại Đại học Thanh Hoa giới thiệu vào tháng 3 năm 2025. Điểm khác biệt giữa YOLOE và các model truyền thống là việc sử dụng khả năng phát hiện với từ vựng mở.
Trong khi hầu hết các model được huấn luyện để nhận diện một danh sách đối tượng cố định, YOLOE cho phép bạn chỉ định nội dung cần tìm bằng một mô tả ngắn hoặc một hình ảnh mẫu. Ví dụ, nếu bạn đang tìm một “ba lô màu xanh lá”, bạn có thể nhập mô tả đó hoặc đưa cho model xem một bức ảnh, và YOLOE sẽ định vị vật thể này trong khung cảnh.
Ngoài ra, ngay cả khi không có prompt, YOLOE vẫn có thể tự phát hiện nhiều vật thể thường ngày. Khả năng nhận diện những đối tượng chưa từng thấy này được gọi là phát hiện zero-shot. Tính năng này đặc biệt hữu ích trong các môi trường năng động, nơi tác vụ hoặc đối tượng cần quan tâm có thể thay đổi ngoài dự kiến.
Hình 1. Khả năng của YOLOE.
Các tính năng chính của YOLOE#
YOLOE hỗ trợ nhiều tính năng được thiết kế để nâng cao hiệu suất trong các ứng dụng thực tế. Với khả năng xử lý cả đầu vào có cấu trúc và không có cấu trúc, YOLOE mở ra những khả năng mới cho hoạt động phát hiện và phân đoạn đối tượng.
Dưới đây là một số tính năng chính mà model cung cấp:
- Phát hiện dựa trên prompt: YOLOE có thể tìm kiếm đối tượng dựa trên một prompt văn bản ngắn hoặc một hình ảnh mẫu. Điều này có nghĩa là bạn không cần huấn luyện lại model mỗi khi tác vụ thay đổi; chỉ cần mô tả hoặc cho model xem nội dung bạn muốn tìm.
- Phân đoạn instance: Ngoài việc vẽ các bounding box quanh đối tượng, YOLOE có thể phác thảo hình dạng chính xác của chúng bằng phân đoạn instance. Tính năng này đặc biệt hữu ích khi các đối tượng chồng lấn lên nhau hoặc khi bạn cần biết ranh giới chính xác của một đối tượng.
- Nhận diện đối tượng không cần prompt: YOLOE có thể nhận diện đối tượng ngay cả khi không có hướng dẫn cụ thể. Model sử dụng một tập mô tả đã được học trước để nhanh chóng xác định đối tượng, giúp quy trình nhanh và hiệu quả hơn.
So sánh YOLOE với các model YOLO khác#
Sau khi đã hiểu rõ hơn về YOLOE, hãy cùng xem xét một số model tương tự trong họ YOLO.
Cùng với sự phát triển của thị giác máy tính, các model YOLO cũng không ngừng tiến bộ. Chẳng hạn, Ultralytics YOLOv8 bổ sung hỗ trợ cho các tác vụ mới như phân đoạn và phân loại, trong khi các phiên bản sau như Ultralytics YOLO11 tập trung cải thiện độ chính xác và hiệu suất cho nhiều tác vụ hơn.
Ngoài ra, YOLO-World được phát hành vào tháng 1 năm 2024 và giới thiệu khả năng sử dụng prompt dạng văn bản, cho phép người dùng mô tả các đối tượng họ muốn tìm. Mặc dù YOLO-World là một lựa chọn hiệu quả cho phát hiện zero-shot, model này thiếu các tính năng như phân đoạn instance và hỗ trợ prompt trực quan.
YOLOE phát triển dựa trên YOLO-World bằng cách bổ sung các khả năng này, cải thiện tính linh hoạt và hiệu suất, đồng thời cung cấp một công cụ hữu ích hơn cho các ứng dụng thị giác máy tính trong thực tế.
Hình 2. YOLO-World và YOLOE đều hỗ trợ phát hiện zero-shot.
Sử dụng YOLOE với package Python Ultralytics#
Dù bạn muốn phát hiện các đối tượng cụ thể hay khám phá mọi thứ trong một hình ảnh, việc bắt đầu với YOLOE rất đơn giản. Model này được package Python Ultralytics hỗ trợ, giúp dễ dàng tích hợp vào các dự án của bạn. Tiếp theo, hãy cùng tìm hiểu cách sử dụng.
Cài đặt package Ultralytics#
Bước đầu tiên là cài đặt package Python Ultralytics bằng trình quản lý package như ‘pip.’ Bạn có thể thực hiện việc này bằng cách chạy lệnh “pip install ultralytics” trong terminal hoặc command prompt.
Sau khi cài đặt package, bạn sẽ có mọi thứ cần thiết để tải model, thực hiện dự đoán và thử nghiệm các chế độ phát hiện khác nhau. Nếu gặp vấn đề trong quá trình cài đặt, tài liệu chính thức của Ultralytics có mục khắc phục sự cố hữu ích.
Có một số cách khác nhau để sử dụng YOLOE thực hiện dự đoán. Thực hiện dự đoán nghĩa là sử dụng model đã huấn luyện để xác định và định vị các đối tượng trong hình ảnh hoặc video. Những phương pháp này cho phép bạn tùy chỉnh cách tương tác với model dựa trên nhu cầu cụ thể.
Hãy cùng thảo luận về từng phương pháp, lần lượt từng phương pháp một.
Phát hiện đối tượng cụ thể bằng prompt văn bản hoặc hình ảnh#
YOLOE có thể phát hiện đối tượng dựa trên một mô tả văn bản ngắn. Ví dụ, nếu bạn đang tìm một con ngựa đang chuyển động, bạn có thể sử dụng prompt như "horse walking."
Để bắt đầu, trước tiên hãy tải model YOLOE đã được huấn luyện trước và đặt prompt (mô tả về nội dung bạn muốn model tìm kiếm) như trong đoạn code dưới đây.
from ultralytics import YOLOE
model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))Sau khi thiết lập model và prompt, bạn có thể chạy model trên một hình ảnh hoặc video. Hãy thay thế đường dẫn file trong code bằng đường dẫn đến file hình ảnh hoặc video của bạn:
results = model.predict("path/to/your/image.jpg")
results[0].show()Thao tác này sẽ hiển thị hình ảnh với đối tượng được phát hiện và đánh dấu rõ ràng dựa trên prompt của bạn. Bạn có thể thay đổi prompt để tìm các đối tượng khác nhau, chẳng hạn như "red suitcase," "bicycle," hoặc "zebra," tùy vào nội dung bạn cần tìm.
Hình 3. Ví dụ sử dụng YOLOE để phát hiện các đối tượng cụ thể bằng prompt văn bản.
Tương tự, bạn có thể sử dụng hình ảnh để làm prompt cho YOLOE với package Python Ultralytics. Ở chế độ prompt trực quan, model sử dụng hình ảnh để tìm các vật thể có diện mạo tương tự trong một khung cảnh khác. Tính năng này đặc biệt hữu ích với những đối tượng khó mô tả hoặc không có nhãn rõ ràng.
Để tìm hiểu chi tiết hơn về code này, bạn có thể xem tài liệu Ultralytics.
Phát hiện đối tượng tổng quát bằng YOLOE#
Trong một số trường hợp, bạn có thể không biết chính xác cần tìm gì hoặc không tìm kiếm một đối tượng cụ thể nào. Đây là lúc chế độ không cần prompt phát huy tác dụng.
Với tùy chọn này, bạn không cần nhập mô tả hoặc cung cấp hình ảnh mẫu. YOLOE sẽ tự phân tích hình ảnh và phát hiện mọi thứ mà model có thể nhận diện, chẳng hạn như người, động vật, đồ nội thất hoặc các vật thể thường ngày.
Đây là một cách hữu ích để khám phá khung cảnh mà không cần cung cấp cho model bất kỳ hướng dẫn cụ thể nào. Dù bạn đang quét một căn phòng đông người hay xem lại cảnh quay có nhiều hoạt động, chế độ không cần prompt cho bạn cái nhìn nhanh về những gì hiện diện trong hình ảnh.
Bạn có thể sử dụng đoạn code sau để chạy YOLOE ở chế độ không cần prompt. Trước tiên, model được tải, sau đó xử lý hình ảnh và tự động phát hiện các đối tượng trong đó. Cuối cùng, kết quả được hiển thị và các đối tượng được phát hiện sẽ được làm nổi bật.
Hãy nhớ thay thế đường dẫn file bằng đường dẫn thực tế đến hình ảnh của bạn.
from ultralytics import YOLOE
model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()Hình ảnh bên dưới là một ví dụ về những gì YOLOE có thể phát hiện ở chế độ không cần prompt.
Hình 4. Sử dụng YOLOE ở chế độ không cần prompt.
Các ứng dụng thời gian thực của YOLOE#
Khả năng phản hồi cả prompt văn bản và hình ảnh của YOLOE khiến model trở thành một công cụ đáng tin cậy cho các ứng dụng thời gian thực. Tính linh hoạt của model đặc biệt hữu ích trong những môi trường có nhịp độ nhanh, nơi thời gian và độ chính xác là yếu tố thiết yếu.
Hãy cùng khám phá một số ví dụ thực tế về cách YOLOE có thể được sử dụng.
Cải thiện việc xử lý hành lý: Phát hiện hành lý theo thời gian thực#
Tại các sân bay đông đúc, việc định vị hành lý cụ thể có thể rất khó khăn, đặc biệt khi xử lý các kiện hành lý bị thất lạc. YOLOE có thể đơn giản hóa quy trình này bằng cách hỗ trợ quét video trực tiếp và nhanh chóng xác định vật thể dựa trên các prompt đơn giản như “red bag.”
Nếu một túi bị thất lạc hoặc đặt nhầm chỗ, nhân viên có thể dễ dàng thay đổi prompt để tìm một vật thể khác, chẳng hạn như “black suitcase.” Khả năng thích ứng tức thì này giúp nhân viên sân bay nhanh chóng định vị đúng hành lý mà không cần xem lại nhiều giờ cảnh quay hoặc huấn luyện lại model, khiến việc xử lý hành lý và giải quyết các vấn đề hành lý thất lạc nhanh chóng, hiệu quả hơn.
Giám sát không gian công cộng bằng YOLOE#
Cảnh quay giám sát tại các không gian công cộng như chợ đông người và quán cà phê thường bao gồm nhiều người, vật thể và hoạt động thay đổi trong ngày. YOLOE có thể phân tích cảnh quay này theo thời gian thực bằng chế độ không cần prompt, tự động phát hiện những vật thể như túi xách, bàn hoặc xe đạp mà không cần hướng dẫn cụ thể.
Hình 5. YOLOE có thể phát hiện nhiều loại đối tượng trong không gian công cộng đông đúc.
Tính năng này đặc biệt hữu ích cho các đội ngũ an ninh trong việc phát hiện vật thể bị bỏ quên hoặc theo dõi chuyển động của đám đông. Khả năng phát hiện nhiều đối tượng cùng lúc của YOLOE giúp quản lý không gian công cộng dễ dàng hơn trong các sự kiện hoặc giai đoạn cao điểm, hỗ trợ đội ngũ luôn nắm bắt tình hình và phản ứng kịp thời.
Ưu và nhược điểm của YOLOE#
Dưới đây là một số lợi ích chính khi sử dụng YOLOE cho các ứng dụng thị giác máy tính:
- Hiệu suất thời gian thực: YOLOE được tối ưu để xử lý nhanh và hiệu quả, cho phép phát hiện theo thời gian thực, ngay cả trong các môi trường năng động như luồng video trực tiếp hoặc không gian công cộng đông đúc.
- Khả năng mở rộng: YOLOE có khả năng mở rộng và hoạt động hiệu quả trong nhiều loại ứng dụng, từ an ninh và giám sát đến bán lẻ, chăm sóc sức khỏe và phương tiện tự hành.
- Dễ sử dụng: Vì YOLOE được package Python Ultralytics hỗ trợ, model dễ dàng tích hợp vào các dự án thị giác máy tính hiện có của bạn.
Tuy nhiên, có một số hạn chế cần lưu ý khi sử dụng YOLOE. Dưới đây là một vài yếu tố cần cân nhắc:
- Yêu cầu đủ dữ liệu huấn luyện: Mặc dù YOLOE hỗ trợ phát hiện zero-shot, hiệu suất trên các đối tượng chưa từng thấy phụ thuộc vào khả năng tổng quát hóa từ dữ liệu huấn luyện. Trong một số trường hợp, model có thể cần thêm dữ liệu hoặc fine-tuning để hoạt động tốt trong các tác vụ chuyên biệt cao.
- Nhạy cảm với chất lượng đầu vào: Độ chính xác của model có thể bị ảnh hưởng bởi hình ảnh hoặc video chất lượng thấp. Đầu vào bị mờ hoặc thiếu sáng có thể làm giảm khả năng phát hiện đối tượng chính xác của model, vì vậy đầu vào chất lượng cao rất quan trọng để đạt hiệu suất tối ưu.
Những điểm chính#
YOLOE mang đến sự linh hoạt hơn cho thị giác máy tính bằng cách cho phép người dùng định hướng hoạt động phát hiện thông qua prompt văn bản hoặc hình ảnh. Model hoạt động hiệu quả trong các tình huống thực tế, nơi khung cảnh thay đổi nhanh chóng và không thể huấn luyện lại.
Từ xử lý hành lý đến giám sát không gian công cộng, YOLOE dễ dàng thích ứng với các tác vụ mới. Khi AI ngày càng trở nên dễ tiếp cận, các model như YOLOE đang giúp nhiều ngành ứng dụng công nghệ thị giác theo những cách thiết thực và hiệu quả hơn.
Tham gia cộng đồng của chúng tôi và khám phá repository GitHub để tìm hiểu thêm về các đổi mới trong AI. Khám phá những tiến bộ mới nhất trong các lĩnh vực như AI trong bán lẻ và thị giác máy tính trong chăm sóc sức khỏe trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép và bắt đầu với thị giác máy tính ngay hôm nay!
