Thực hành với YOLO-World

Các dự án thị giác máy tính thường đòi hỏi dành rất nhiều thời gian để gán nhãn dữ liệu và huấn luyện các model phát hiện đối tượng. Tuy nhiên, điều đó có thể sớm trở thành chuyện của quá khứ. Phòng thí nghiệm AI của Tencent đã phát hành YOLO-World, một model phát hiện đối tượng theo thời gian thực với từ vựng mở, vào ngày 31 tháng 1 năm 2024. YOLO-World là một model zero-shot, nghĩa là bạn có thể chạy suy luận phát hiện đối tượng trên hình ảnh mà không cần huấn luyện model.

Các model zero-shot có tiềm năng thay đổi cách chúng ta tiếp cận các ứng dụng thị giác máy tính. Trong blog này, chúng ta sẽ tìm hiểu cách YOLO-World hoạt động, các ứng dụng tiềm năng của model và chia sẻ một ví dụ code thực tế để bạn bắt đầu.

Tổng quan nhanh về YOLO-World#

Bạn có thể truyền một hình ảnh và prompt văn bản mô tả các đối tượng cần tìm qua model YOLO-World. Ví dụ, nếu bạn muốn tìm "một người mặc áo đỏ" trong một bức ảnh, YOLO-World sẽ tiếp nhận đầu vào này và bắt đầu xử lý.

Kiến trúc độc đáo của model kết hợp ba thành phần chính:

• Một detector dựa trên model phát hiện đối tượng Ultralytics YOLOv8, dùng để phân tích nội dung trực quan của hình ảnh.
• Một text encoder được OpenAI’s CLIP pre-train, được thiết kế riêng để hiểu prompt văn bản của bạn.
• Một mạng, Mạng tổng hợp đường dẫn thị giác-ngôn ngữ (RepVL-PAN), tích hợp dữ liệu hình ảnh đã xử lý với dữ liệu văn bản.

Detector YOLO quét hình ảnh đầu vào để xác định các đối tượng tiềm năng. Text encoder chuyển đổi mô tả của bạn thành định dạng mà model có thể hiểu. Hai luồng thông tin này sau đó được hợp nhất qua RepVL-PAN bằng phương pháp fusion đa mức giữa các modality. Nhờ đó, YOLO-World có thể phát hiện và định vị chính xác các đối tượng được mô tả trong prompt của bạn trong hình ảnh.

Ví dụ về kết quả từ YOLO-World.

Lợi ích khi lựa chọn YOLO-World#

Một trong những ưu điểm lớn nhất khi sử dụng YOLO-World là bạn không phải huấn luyện model cho một class cụ thể. Model đã học từ các cặp hình ảnh và văn bản, nên biết cách tìm đối tượng dựa trên mô tả. Bạn có thể tránh hàng giờ thu thập dữ liệu, gán nhãn dữ liệu, huấn luyện trên các GPU đắt tiền, v.v.

Dưới đây là một số lợi ích khác khi sử dụng YOLO-World:

• Hiệu năng theo thời gian thực - YOLO-World hỗ trợ hiệu năng theo thời gian thực giống như kiến trúc YOLO ban đầu. Model lý tưởng cho các ứng dụng yêu cầu phát hiện đối tượng ngay lập tức, chẳng hạn như xe tự hành và hệ thống giám sát.
• Phân đoạn instance - YOLO-World có thể phác thảo và tách riêng các đối tượng trong ảnh một cách rõ ràng, ngay cả khi những đối tượng đó chưa được dạy cụ thể trong quá trình huấn luyện.
• Hiệu quả - YOLO-World kết hợp độ chính xác cao với hiệu quả tính toán, giúp model phù hợp với các ứng dụng thực tế. Kiến trúc tinh gọn cho phép phát hiện đối tượng nhanh chóng mà không đòi hỏi quá nhiều năng lực xử lý.

Các ứng dụng của YOLO-World#

Các model YOLO-World có thể được sử dụng cho nhiều ứng dụng khác nhau. Hãy cùng khám phá một số ứng dụng.

Kiểm soát chất lượng trong sản xuất#

Các sản phẩm được sản xuất trên dây chuyền lắp ráp được kiểm tra trực quan để phát hiện lỗi trước khi đóng gói. Việc phát hiện lỗi thường được thực hiện thủ công, tốn thời gian và có thể dẫn đến sai sót. Những sai sót này có thể gây ra các vấn đề như chi phí cao và nhu cầu sửa chữa hoặc thu hồi sản phẩm. Để hỗ trợ việc này, các camera machine vision chuyên dụng và hệ thống AI đã được phát triển để thực hiện những kiểm tra đó.

Các model YOLO-World là một bước tiến lớn trong lĩnh vực này. Nhờ khả năng zero-shot, chúng có thể tìm ra lỗi trong sản phẩm ngay cả khi chưa được huấn luyện cho vấn đề cụ thể đó. Ví dụ, một nhà máy sản xuất chai nước có thể dễ dàng phân biệt chai được đóng nắp đúng cách với chai bị thiếu nắp hoặc nắp bị lỗi bằng YOLO-World.

Ví dụ về kiểm tra nắp chai.

Robot#

Các model YOLO-World cho phép robot tương tác với những môi trường chưa quen thuộc. Dù chưa được huấn luyện trên các đối tượng cụ thể có thể xuất hiện trong một căn phòng, robot vẫn có thể xác định những đối tượng hiện diện. Ví dụ, một robot bước vào căn phòng mà nó chưa từng đến trước đây. Với model YOLO-World, robot vẫn có thể nhận biết và xác định các đối tượng như ghế, bàn hoặc đèn, dù chưa được huấn luyện cụ thể trên những vật thể đó.

Ngoài phát hiện đối tượng, YOLO-World còn có thể xác định tình trạng của các đối tượng đó nhờ tính năng 'prompt-then-detect'. Chẳng hạn, trong lĩnh vực robot nông nghiệp, model có thể được dùng để phân biệt trái cây chín với trái cây chưa chín bằng cách lập trình robot phát hiện chúng.

AI trong ngành công nghiệp ô tô#

Ngành công nghiệp ô tô bao gồm nhiều bộ phận chuyển động, và YOLO-World có thể được sử dụng cho nhiều ứng dụng khác nhau trên xe. Ví dụ, trong bảo dưỡng xe, khả năng nhận biết nhiều loại đối tượng mà không cần gán nhãn thủ công hoặc pre-train trên quy mô lớn của YOLO-World là cực kỳ hữu ích. YOLO-World có thể được dùng để xác định các bộ phận xe cần thay thế. Model thậm chí có thể tự động hóa các tác vụ như kiểm tra chất lượng, phát hiện lỗi hoặc các bộ phận bị thiếu trên xe mới.

Một ứng dụng khác là phát hiện đối tượng zero-shot trong xe tự lái. Khả năng phát hiện zero-shot của YOLO-World có thể cải thiện khả năng phát hiện và phân loại các đối tượng trên đường của xe tự hành, chẳng hạn như người đi bộ, biển báo giao thông và các phương tiện khác, theo thời gian thực. Nhờ đó, model có thể hỗ trợ phát hiện chướng ngại vật và ngăn ngừa tai nạn để hành trình an toàn hơn.

Ví dụ về phát hiện đối tượng trên đường.

Quản lý hàng tồn kho cho cửa hàng bán lẻ#

Việc xác định các đối tượng trên kệ trong cửa hàng bán lẻ là một phần quan trọng của theo dõi hàng tồn kho, duy trì lượng hàng và tự động hóa quy trình. Khả năng nhận biết nhiều loại đối tượng mà không cần gán nhãn thủ công hoặc pre-train trên quy mô lớn của Ultralytics YOLO-World đặc biệt hữu ích cho việc quản lý hàng tồn kho.

Ví dụ, trong quản lý hàng tồn kho, YOLO-World có thể nhanh chóng phát hiện và phân loại các mặt hàng trên kệ, chẳng hạn như nhiều thương hiệu nước tăng lực khác nhau. Các cửa hàng bán lẻ có thể duy trì dữ liệu hàng tồn kho chính xác, quản lý hiệu quả mức tồn kho và tối ưu hóa hoạt động chuỗi cung ứng.

Tất cả các ứng dụng đều độc đáo và cho thấy YOLO-World có thể được sử dụng rộng rãi đến mức nào. Tiếp theo, hãy cùng trải nghiệm thực tế với YOLO-World và xem một ví dụ code.

Hướng dẫn từng bước về code#

Như đã đề cập trước đó, YOLO-World có thể được dùng để phát hiện các bộ phận khác nhau của xe phục vụ bảo dưỡng. Một ứng dụng thị giác máy tính phát hiện các hạng mục cần sửa chữa sẽ bao gồm chụp ảnh xe, xác định các bộ phận, kiểm tra từng bộ phận để tìm hư hỏng và đề xuất phương án sửa chữa. Mỗi phần của hệ thống này sẽ sử dụng các kỹ thuật và phương pháp AI khác nhau. Trong phạm vi hướng dẫn code này, hãy tập trung vào bước phát hiện các bộ phận của xe.

Với YOLO-World, bạn có thể xác định các bộ phận khác nhau của xe trong một hình ảnh trong chưa đầy 5 phút. Bạn cũng có thể mở rộng code này để thử nhiều ứng dụng khác bằng YOLO-World! Để bắt đầu, chúng ta cần pip install gói Ultralytics như minh họa bên dưới.

Để biết thêm hướng dẫn và các best practice liên quan đến quy trình cài đặt, hãy xem hướng dẫn Cài đặt Ultralytics của chúng tôi. Trong quá trình cài đặt các gói cần thiết cho YOLOv8, nếu gặp khó khăn, hãy tham khảo hướng dẫn Các vấn đề thường gặp để tìm giải pháp và mẹo xử lý.

Sau khi cài đặt gói cần thiết, chúng ta có thể tải một hình ảnh từ Internet để chạy suy luận. Chúng ta sẽ sử dụng hình ảnh bên dưới.

Hình ảnh đầu vào của chúng ta.

Tiếp theo, chúng ta sẽ import gói cần thiết, khởi tạo model và thiết lập các class cần tìm trong hình ảnh đầu vào. Ở đây, chúng ta quan tâm đến các class sau: car, wheel, car door, car mirror và license plate.

Sau đó, chúng ta sẽ sử dụng phương thức predict, cung cấp đường dẫn của hình ảnh cùng với các tham số về số lượng detection tối đa và các ngưỡng intersection over union (IoU) và độ tin cậy (conf) để chạy suy luận trên hình ảnh. Cuối cùng, các đối tượng được phát hiện sẽ được lưu vào file có tên 'result.jpg.'

Hình ảnh đầu ra sau đây sẽ được lưu vào các file của bạn.

Hình ảnh đầu ra của chúng ta.

Nếu muốn xem YOLO-World có thể làm gì mà không cần code, bạn có thể truy cập trang Demo YOLO-World, tải lên một hình ảnh đầu vào và nhập các class tùy chỉnh.

Đọc trang tài liệu về YOLO-World của chúng tôi để tìm hiểu cách lưu model cùng các class tùy chỉnh, ώστε sau này có thể sử dụng trực tiếp mà không phải nhập lại các class tùy chỉnh nhiều lần.

Bạn có nhận thấy các cửa xe không được phát hiện không?#

Nếu xem lại hình ảnh đầu ra, bạn sẽ nhận thấy class tùy chỉnh “car door” không được phát hiện. Mặc dù đạt được nhiều thành tựu ấn tượng, YOLO-World vẫn có một số hạn chế nhất định. Để khắc phục những hạn chế này và sử dụng model YOLO-World hiệu quả, điều quan trọng là phải dùng đúng loại prompt văn bản.

Dưới đây là một số thông tin chi tiết:

• YOLO-World có thể không cần mức độ tin cậy cao để đưa ra dự đoán chính xác, vì vậy việc giảm các ngưỡng tin cậy có thể cải thiện tỷ lệ phát hiện.
• Thêm các class mà bạn không quan tâm. Điều này sẽ giúp cải thiện phát hiện đối tượng chính bằng cách giảm false positive đối với các đối tượng phụ.
• Phát hiện các đối tượng lớn trước khi tập trung vào các chi tiết nhỏ hơn có thể cải thiện độ chính xác phát hiện.
• Đề cập đến màu sắc trong các class để phát hiện đối tượng dựa trên dấu hiệu màu sắc.
• Mô tả kích thước đối tượng trong prompt cũng có thể giúp YOLO-World xác định các đối tượng cụ thể chính xác hơn.
• Các phương pháp hậu xử lý, chẳng hạn như lọc dự đoán theo kích thước hoặc điều chỉnh mức độ tin cậy theo từng class, có thể tiếp tục cải thiện kết quả phát hiện đối tượng.

Giới hạn là vô tận#

Nhìn chung, các model YOLO-World có thể trở thành một công cụ mạnh mẽ nhờ khả năng phát hiện đối tượng tiên tiến. Model mang lại hiệu quả và độ chính xác cao, đồng thời giúp tự động hóa nhiều tác vụ trong các ứng dụng khác nhau, chẳng hạn như ví dụ xác định các bộ phận xe mà chúng ta đã thực hành.

Hãy tự do khám phá repository GitHub của chúng tôi để tìm hiểu thêm về những đóng góp của chúng tôi cho thị giác máy tính và AI. Nếu tò mò về cách AI đang định hình lại các lĩnh vực như công nghệ chăm sóc sức khỏe, hãy xem các trang giải pháp của chúng tôi. Những khả năng mà các đổi mới như YOLO-World mang lại dường như là vô tận!