Triển khai Ultralytics YOLO11 dễ dàng bằng tích hợp MNN

Ngày nay, các đổi mới AI đã vượt ra ngoài môi trường máy chủ từ xa. Các giải pháp AI đang được tích hợp vào thiết bị biên như cảm biến và điện thoại thông minh. Nhờ sự chuyển dịch công nghệ này, dữ liệu hiện có thể được xử lý ngay tại nơi phát sinh, giúp phản hồi nhanh hơn, cải thiện quyền riêng tư và giảm phụ thuộc vào kết nối cloud liên tục.

Do đó, AI biên đang ngày càng được ứng dụng rộng rãi trong nhiều ngành. Thị trường phần mềm AI biên dự kiến đạt 8,88 tỷ USD vào năm 2031 khi ngày càng nhiều hệ thống chuyển sang xử lý nhanh hơn và cục bộ hơn.

Đặc biệt, thị giác máy tính, một nhánh của AI tập trung vào việc hiểu hình ảnh và video, đang được ứng dụng nhanh chóng trên thiết bị biên. Từ việc đếm thực phẩm khi đóng gói đến hỗ trợ phương tiện phát hiện người đi bộ, thị giác máy tính phục vụ vô số ứng dụng thực tiễn trong nhiều lĩnh vực.

Điều này có thể thực hiện được nhờ các model thị giác máy tính. Chẳng hạn, Ultralytics YOLO11 là một model hỗ trợ nhiều tác vụ AI thị giác như phát hiện đối tượng, phân đoạn đối tượng, ước tính tư thế và theo dõi đối tượng. Model được thiết kế để hoạt động nhanh và hiệu quả, đồng thời vận hành tốt trên các thiết bị có tài nguyên phần cứng hạn chế.

Hình 1. Phát hiện và theo dõi thực phẩm đang được đóng gói bằng Ultralytics YOLO11.

Ngoài khả năng triển khai trên thiết bị biên, thông qua nhiều tích hợp do Ultralytics hỗ trợ, YOLO11 có thể được export sang nhiều định dạng phù hợp với các môi trường phần cứng khác nhau.

Một trong những tùy chọn hiệu quả nhất là MNN (Mobile Neural Network), một inference engine gọn nhẹ được thiết kế cho các thiết bị có tài nguyên hạn chế. Export Ultralytics YOLO11 sang MNN cho phép model chạy trực tiếp trên điện thoại di động, hệ thống nhúng và các nền tảng biên khác, nơi cần xử lý nhanh ngay trên thiết bị.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tích hợp MNN hoạt động, nêu bật các trường hợp sử dụng phổ biến và hướng dẫn cách bắt đầu chạy suy luận bằng model Ultralytics YOLO11 đã export.

Tổng quan về MNN: Framework học sâu#

Chạy model thị giác máy tính trên các thiết bị nhỏ hơn như điện thoại di động, cảm biến công nghiệp và hệ thống di động không phải lúc nào cũng đơn giản. Những thiết bị này thường có bộ nhớ hạn chế, bộ xử lý chậm hơn và giới hạn công suất nghiêm ngặt.

Mobile Neural Network, hay MNN, là inference engine gọn nhẹ, hiệu năng cao do Alibaba phát triển nhằm giúp model AI chạy hiệu quả trên phần cứng có tài nguyên hạn chế mà vẫn duy trì hiệu năng thời gian thực. MNN hỗ trợ nhiều nền tảng, bao gồm Android, iOS và Linux, đồng thời hoạt động trên nhiều loại phần cứng như bộ xử lý trung tâm (CPUs) và bộ xử lý đồ họa (GPUs).

Hình 2. Tổng quan về framework MNN (Nguồn).

Tính năng tích hợp MNN do Ultralytics hỗ trợ giúp dễ dàng export model YOLO11 sang định dạng MNN. Nói đơn giản, điều này có nghĩa là có thể chuyển đổi model từ định dạng PyTorch gốc sang MNN.

Sau khi chuyển đổi, có thể triển khai model trên các thiết bị hỗ trợ framework MNN để chạy inference hiệu quả ngay trên thiết bị. Một lợi ích chính của định dạng MNN là giúp đơn giản hóa việc triển khai Ultralytics YOLO11 trong các tình huống mà kích thước, tốc độ và hiệu quả sử dụng tài nguyên là yếu tố quan trọng.

Các tính năng chính của backend inference MNN#

Trước khi tìm hiểu cách sử dụng tích hợp MNN, hãy cùng xem điều gì khiến framework MNN trở thành lựa chọn phù hợp để chạy model AI trên các thiết bị thực tế. Framework này được thiết kế để xử lý những giới hạn đặc thù của môi trường biên mà vẫn mang lại hiệu năng nhanh và đáng tin cậy.

Đáng chú ý, Alibaba sử dụng MNN nội bộ trong hơn 30 ứng dụng, bao gồm Taobao, Tmall, Youku, DingTalk và Xianyu, với nhiều tình huống khác nhau như video trực tiếp, nội dung dạng ngắn, tìm kiếm hình ảnh và kiểm tra bảo mật trên thiết bị. MNN hỗ trợ triển khai ở quy mô lớn và chạy hàng triệu lượt inference mỗi ngày trong môi trường production.

Dưới đây là một số tính năng chính của framework MNN:

• Tự động chọn backend: MNN có thể tự động chọn backend thực thi phù hợp nhất, chẳng hạn như CPU hoặc GPU, dựa trên phần cứng mà framework đang chạy.
• Thực thi đa luồng: Công nghệ này hỗ trợ đa luồng, cho phép tận dụng tối đa các bộ xử lý đa lõi để suy luận nhanh hơn.
• Hỗ trợ lượng tử hóa model: Tính năng này cho phép giảm đáng kể kích thước model bằng lượng tử hóa FP16 hoặc INT8, giúp cải thiện tốc độ inference đồng thời sử dụng ít bộ nhớ hơn.
• Gọn nhẹ và nhanh: MNN có dung lượng rất nhỏ, với thư viện lõi khoảng 400 KB trên Android và khoảng 5 MB trên iOS, phù hợp với thiết bị di động và thiết bị nhúng.

Tìm hiểu cách tích hợp MNN hoạt động#

Tiếp theo, hãy cùng tìm hiểu cách export model Ultralytics YOLO11 sang định dạng MNN.

Bước đầu tiên là cài đặt gói Python Ultralytics, cung cấp mọi thứ cần thiết để export model YOLO11 sang định dạng MNN. Bạn có thể thực hiện việc này bằng cách chạy pip install ultralytics trong terminal hoặc dấu nhắc lệnh. Nếu sử dụng Jupyter Notebook hoặc Google Colab, hãy thêm dấu chấm than trước lệnh.

Nếu gặp bất kỳ sự cố nào trong quá trình cài đặt, hãy tham khảo hướng dẫn Sự cố thường gặp để biết các mẹo khắc phục.

Sau khi thiết lập môi trường, bạn có thể tải một model YOLO11 được huấn luyện trước, chẳng hạn như "yolo11n.pt", rồi export model sang định dạng MNN như minh họa trong đoạn mã bên dưới. Nếu đã huấn luyện model YOLO11 tùy chỉnh của riêng mình, bạn chỉ cần thay tên tệp bằng đường dẫn đến model.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Sau khi chuyển đổi model sang MNN, bạn có thể sử dụng model trên nhiều nền tảng di động và nhúng khác nhau tùy theo nhu cầu ứng dụng.

Ví dụ, giả sử bạn muốn kiểm thử model đã export trên video giao thông. Khi đó, bạn có thể tải model Ultralytics YOLO11 ở định dạng MNN để phát hiện trực tiếp trên thiết bị các đối tượng như phương tiện, người đi bộ và biển báo giao thông, như minh họa trong ví dụ bên dưới.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Khi suy luận hoàn tất, video đầu ra có chứa các đối tượng được phát hiện sẽ tự động được lưu vào thư mục 'runs/detect/predict'. Ngoài ra, nếu muốn chạy suy luận trực tiếp bằng gói Python MNN, hãy xem tài liệu MNN chính thức của Ultralytics để biết thêm chi tiết và ví dụ.

Hình 3. Phân tích giao thông bằng model Ultralytics YOLO11 được export sang định dạng MNN. Ảnh do tác giả cung cấp.

Các trường hợp sử dụng triển khai model AI biên nhờ Ultralytics YOLO11 và MNN#

Triển khai Ultralytics YOLO11 với MNN cho phép thực hiện nhanh và hiệu quả các tác vụ thị giác máy tính như phát hiện đối tượng trong những môi trường mà xử lý dựa trên cloud không khả thi hoặc không thể thực hiện. Hãy cùng xem tích hợp này hữu ích như thế nào trong các tình huống thực tế.

AI biên trên thiết bị di động để nhận diện bệnh cây trồng#

Các ứng dụng nhận diện bệnh cây trồng sử dụng phân loại hình ảnh đang ngày càng phổ biến với người làm vườn, nhà nghiên cứu và những người yêu thiên nhiên. Chỉ với một bức ảnh, người dùng có thể nhanh chóng nhận diện các dấu hiệu bệnh sớm như đốm lá hoặc đổi màu. Vì các ứng dụng này thường được sử dụng ngoài trời, nơi kết nối internet có thể bị hạn chế hoặc không có, việc phụ thuộc vào xử lý trên cloud có thể không đáng tin cậy.

Sau khi huấn luyện trên một bộ dữ liệu như PlantDoc, model Ultralytics YOLO11 có thể được export sang định dạng MNN và chạy trực tiếp trên thiết bị di động. Sau đó, model có thể phân loại loài thực vật và phát hiện các triệu chứng bệnh có thể nhìn thấy ngay trên thiết bị mà không gửi dữ liệu đến máy chủ.

Hình 4. Ví dụ sử dụng YOLO11 để phát hiện dấu hiệu bệnh gỉ sắt trên lá (Nguồn).

Inference hiệu quả ngay trên thiết bị trong sản xuất#

Theo dõi kiện hàng chính xác là điều thiết yếu trên các dây chuyền sản xuất bận rộn tại cơ sở sản xuất. Có thể sử dụng Ultralytics YOLO11 để theo dõi và đếm từng mặt hàng khi chúng đi qua các điểm kiểm tra quan trọng, cập nhật số lượng theo thời gian thực và đánh dấu mọi sai lệch. Điều này giúp giảm số lô hàng bị bỏ sót hoặc không được ghi nhận, đồng thời hỗ trợ hoạt động trơn tru và đáng tin cậy hơn.

Hình 5. Theo dõi và đếm kiện hàng bằng YOLO11 (Nguồn).

Tích hợp MNN có thể tạo ra tác động đặc biệt đáng kể trong bối cảnh này. Sau khi model Ultralytics YOLO11 được export sang định dạng MNN, model có thể chạy trực tiếp trên các thiết bị nhỏ gọn, công suất thấp được lắp dọc theo băng chuyền.

Vì toàn bộ quá trình xử lý diễn ra cục bộ, hệ thống có thể phản hồi tức thì và không cần kết nối internet. Điều này đảm bảo hiệu năng nhanh, đáng tin cậy trên sàn nhà máy, giúp duy trì hiệu quả sản xuất đồng thời đảm bảo độ chính xác và khả năng kiểm soát cao.

Lợi ích khi export Ultralytics YOLO11 sang định dạng model MNN#

Dưới đây là một số lợi ích chính của tích hợp MNN do Ultralytics cung cấp:

• Thời gian phản hồi nhanh hơn: Vì inference chạy trên thiết bị, các dự đoán được đưa ra theo thời gian thực với độ trễ tối thiểu.
• Cải thiện quyền riêng tư dữ liệu: Dữ liệu được lưu trên thiết bị, giảm nhu cầu gửi hình ảnh hoặc video nhạy cảm lên cloud.
• Mã nguồn mở và được duy trì tích cực: Được Alibaba hậu thuẫn và cộng đồng tích cực hỗ trợ, MNN là framework đáng tin cậy và thường xuyên được cập nhật để cải thiện hiệu năng.

Các yếu tố cần cân nhắc khi sử dụng framework MNN#

Trước khi chọn MNN làm framework triển khai, bạn cũng cần đánh giá mức độ phù hợp của framework với yêu cầu dự án, mục tiêu triển khai và giới hạn kỹ thuật. Dưới đây là một số yếu tố chính cần cân nhắc:

• Khả năng tương thích liên tục: Các bản cập nhật framework hoặc thay đổi trên nền tảng mục tiêu có thể yêu cầu kiểm thử lại hoặc điều chỉnh để mọi thứ tiếp tục hoạt động trơn tru.
• Ít công cụ gỡ lỗi hơn: So với các framework lớn hơn, MNN có ít công cụ hơn để gỡ lỗi và kiểm tra hành vi model, khiến việc khắc phục sự cố khó khăn hơn.
• Hiệu năng phụ thuộc vào phần cứng: Tốc độ và hiệu quả của model sẽ thay đổi tùy theo thiết bị. Hãy kiểm thử trên phần cứng mục tiêu để đảm bảo thiết bị đáp ứng các mục tiêu hiệu năng.

Điểm chính cần ghi nhớ#

Hỗ trợ tích hợp MNN của Ultralytics giúp dễ dàng export model YOLO11 để sử dụng trên thiết bị di động và hệ thống nhúng. Đây là lựa chọn thiết thực cho các ứng dụng cần khả năng phát hiện nhanh, đáng tin cậy mà không phụ thuộc vào quyền truy cập cloud hoặc kết nối liên tục.

Thiết lập này giúp tinh gọn quy trình triển khai mà vẫn duy trì hiệu năng và giữ nhu cầu tài nguyên ở mức thấp. Dù bạn đang xây dựng hệ thống nhà thông minh, công cụ thực địa hay thiết bị công nghiệp nhỏ gọn, export Ultralytics YOLO11 sang MNN mang đến cách linh hoạt và hiệu quả để chạy các tác vụ thị giác máy tính trực tiếp trên thiết bị biên.

Hãy tham gia cộng đồng ngày càng phát triển của chúng tôi! Khám phá repository GitHub để tìm hiểu sâu hơn về AI. Sẵn sàng bắt đầu các dự án thị giác máy tính của bạn? Xem các tùy chọn cấp phép. Khám phá thêm về AI trong chăm sóc sức khỏe và thị giác máy tính trong bán lẻ trên các trang giải pháp của chúng tôi!