Triển khai liền mạch Ultralytics YOLO11 bằng tích hợp MNN
Tìm hiểu cách export và triển khai các model Ultralytics YOLO11 với tích hợp MNN để inference nhanh trên các nền tảng mobile, embedded và công suất thấp.
Ngày nay, các đổi mới trong AI đã vượt ra ngoài môi trường máy chủ từ xa. Các giải pháp AI đang được tích hợp vào những thiết bị edge như cảm biến và smartphone. Nhờ sự chuyển dịch công nghệ này, dữ liệu giờ đây có thể được xử lý trực tiếp tại nơi phát sinh, cho phép phản hồi nhanh hơn, cải thiện quyền riêng tư và giảm sự phụ thuộc vào kết nối cloud liên tục.
Do đó, edge AI đang ngày càng được ứng dụng rộng rãi trong nhiều ngành. Thị trường phần mềm edge AI được dự kiến sẽ đạt 8,88 tỷ USD vào năm 2031 khi ngày càng nhiều hệ thống chuyển sang xử lý nhanh hơn và cục bộ hơn.
Đặc biệt, computer vision, một nhánh của AI tập trung vào việc hiểu hình ảnh và video, đang nhanh chóng được áp dụng trên edge. Từ việc đếm các sản phẩm thực phẩm khi chúng được đóng gói đến hỗ trợ phương tiện phát hiện người đi bộ, computer vision đáp ứng vô số ứng dụng thực tiễn trong nhiều lĩnh vực khác nhau.
Điều này có được là nhờ các model computer vision. Chẳng hạn, Ultralytics YOLO11 là một model hỗ trợ nhiều tác vụ vision AI như phát hiện đối tượng, phân đoạn instance, tracking đối tượng và ước tính tư thế. Model này được thiết kế để có tốc độ nhanh, hiệu quả và hoạt động tốt trên các thiết bị có tài nguyên phần cứng hạn chế.
Hình 1. Phát hiện và tracking thực phẩm đang được đóng gói bằng Ultralytics YOLO11 (Nguồn).
Ngoài khả năng phù hợp để triển khai trên edge, nhờ nhiều tích hợp được Ultralytics hỗ trợ, YOLO11 có thể được export sang nhiều format phù hợp với các môi trường phần cứng khác nhau.
Một trong những lựa chọn hiệu quả nhất là MNN (MNN), một inference engine nhẹ được thiết kế cho các thiết bị có tài nguyên hạn chế. Việc export Ultralytics YOLO11 sang MNN cho phép model chạy trực tiếp trên điện thoại di động, hệ thống nhúng và các nền tảng edge khác, nơi xử lý nhanh trên thiết bị là yếu tố thiết yếu.
Trong bài viết này, chúng ta sẽ tìm hiểu cách tích hợp MNN hoạt động, nêu bật các use case phổ biến và hướng dẫn từng bước cách bắt đầu chạy inference bằng model Ultralytics YOLO11 đã được export. Hãy bắt đầu!
Tổng quan về MNN: Một framework deep learning#
Chạy model computer vision trên các thiết bị nhỏ hơn như điện thoại di động, cảm biến công nghiệp và hệ thống di động không phải lúc nào cũng đơn giản. Những thiết bị này thường có bộ nhớ hạn chế, bộ xử lý chậm hơn và giới hạn điện năng nghiêm ngặt.
Mạng nơ-ron di động, hay MNN, là một inference engine nhẹ và hiệu năng cao do Alibaba phát triển nhằm giúp các model AI chạy hiệu quả trên phần cứng có tài nguyên hạn chế mà vẫn duy trì hiệu năng thời gian thực. MNN hỗ trợ nhiều nền tảng, bao gồm Android, iOS và Linux, đồng thời hoạt động trên nhiều loại phần cứng như bộ xử lý trung tâm (CPUs) và bộ xử lý đồ họa (GPUs).
Hình 2. Tổng quan về framework MNN (Nguồn).
Tích hợp MNN được Ultralytics hỗ trợ giúp dễ dàng export các model YOLO11 sang format MNN. Nói đơn giản, điều này có nghĩa là các model có thể được chuyển đổi từ format YOLO sang MNN.
Sau khi được chuyển đổi, chúng có thể được triển khai trên các thiết bị hỗ trợ framework MNN để thực hiện inference hiệu quả ngay trên thiết bị. Một lợi ích quan trọng của format MNN là giúp đơn giản hóa việc triển khai Ultralytics YOLO11 trong các tình huống mà kích thước, tốc độ và hiệu quả sử dụng tài nguyên là yếu tố then chốt.
Các tính năng chính của backend inference MNN#
Trước khi tìm hiểu cách sử dụng tích hợp MNN, hãy cùng xem điều gì khiến framework MNN trở thành lựa chọn phù hợp để chạy các model AI trên thiết bị thực tế. Framework này được xây dựng để xử lý những hạn chế đặc thù của môi trường edge mà vẫn mang lại hiệu năng nhanh và ổn định.
Đáng chú ý, MNN được Alibaba sử dụng nội bộ trong hơn 30 ứng dụng, bao gồm Taobao, Tmall, Youku, DingTalk và Xianyu, với nhiều kịch bản như video trực tiếp, nội dung dạng ngắn, tìm kiếm hình ảnh và kiểm tra bảo mật trên thiết bị. MNN hỗ trợ triển khai quy mô lớn và thực hiện hàng triệu lượt inference mỗi ngày trong môi trường production.
Dưới đây là một số tính năng chính của framework MNN:
- Tự động chọn backend: MNN có thể tự động chọn backend thực thi phù hợp nhất, chẳng hạn như CPU hoặc GPU, dựa trên phần cứng mà framework đang chạy.
- Thực thi đa luồng: MNN hỗ trợ đa luồng, cho phép tận dụng tối đa các bộ xử lý đa lõi để inference nhanh hơn.
- Hỗ trợ quantization model: MNN cho phép giảm đáng kể kích thước model bằng quantization FP16 hoặc INT8, giúp cải thiện tốc độ inference đồng thời sử dụng ít bộ nhớ hơn.
- Nhẹ và nhanh: MNN có footprint rất nhỏ, với thư viện core khoảng 400 KB trên Android và khoảng 5 MB trên iOS, khiến framework này trở nên lý tưởng cho các thiết bị di động và thiết bị nhúng.
Tìm hiểu cách tích hợp MNN hoạt động#
Tiếp theo, hãy cùng tìm hiểu cách export các model Ultralytics YOLO11 sang format MNN.
Bước đầu tiên là cài đặt package Ultralytics Python, package cung cấp mọi thứ cần thiết để export các model YOLO11 sang format MNN. Bạn có thể thực hiện việc này bằng cách chạy "pip install ultralytics" trong terminal hoặc command prompt. Nếu đang sử dụng Jupyter Notebook hoặc Google Colab, hãy thêm dấu chấm than trước command.
Nếu gặp bất kỳ vấn đề nào trong quá trình cài đặt, hãy tham khảo hướng dẫn Common Issues để biết các mẹo khắc phục sự cố.
Sau khi thiết lập xong môi trường, bạn có thể load một model YOLO11 đã được pre-trained, chẳng hạn như "yolo11n.pt", rồi export model sang format MNN như minh họa trong đoạn code bên dưới. Nếu đã train model YOLO11 tùy chỉnh của riêng mình, bạn chỉ cần thay tên file bằng path đến model.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="mnn")Sau khi chuyển đổi model sang MNN, bạn có thể sử dụng model trên nhiều nền tảng di động và nhúng khác nhau, tùy theo nhu cầu của ứng dụng.
Ví dụ, giả sử bạn muốn kiểm thử model đã export trên một video giao thông. Khi đó, bạn có thể load model Ultralytics YOLO11 ở format MNN để phát hiện trực tiếp trên thiết bị các đối tượng như phương tiện, người đi bộ và biển báo giao thông, như minh họa trong ví dụ bên dưới.
mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)Khi inference hoàn tất, video đầu ra chứa các đối tượng được phát hiện sẽ tự động được lưu trong thư mục 'runs/detect/predict'. Ngoài ra, nếu muốn chạy inference trực tiếp bằng package MNN Python, bạn có thể xem tài liệu Ultralytics chính thức để biết thêm chi tiết và ví dụ.
Hình 3. Phân tích giao thông bằng model Ultralytics YOLO11 đã được export sang format MNN. Hình ảnh do tác giả thực hiện.
Các use case triển khai model edge AI được hỗ trợ bởi Ultralytics YOLO11 và MNN#
Triển khai Ultralytics YOLO11 với MNN cho phép thực hiện nhanh và hiệu quả các tác vụ computer vision như phát hiện đối tượng trong những môi trường mà xử lý dựa trên cloud không thực tế hoặc không khả thi. Hãy cùng xem tích hợp này đặc biệt hữu ích như thế nào trong các tình huống thực tế.
Edge AI trên thiết bị di động để nhận diện bệnh cây#
Các ứng dụng nhận diện bệnh cây sử dụng phân loại hình ảnh đang ngày càng phổ biến trong giới làm vườn, nghiên cứu và những người yêu thiên nhiên. Chỉ với một bức ảnh, người dùng có thể nhanh chóng xác định các dấu hiệu ban đầu của bệnh, chẳng hạn như đốm lá hoặc sự đổi màu. Vì các ứng dụng này thường được sử dụng ngoài trời, nơi kết nối Internet có thể bị hạn chế hoặc không có, việc phụ thuộc vào xử lý cloud có thể không đáng tin cậy.
Sau khi train, một model Ultralytics YOLO11 có thể được export sang format MNN và chạy trực tiếp trên các thiết bị di động. Sau đó, model có thể phân loại loài cây và phát hiện cục bộ các triệu chứng bệnh có thể nhìn thấy mà không cần gửi dữ liệu đến server.
Hình 4. Ví dụ sử dụng YOLO11 để phát hiện dấu hiệu bệnh rỉ sắt trên lá (một loại bệnh cây) (Nguồn).
Inference hiệu quả ngay trên thiết bị trong lĩnh vực sản xuất#
Tracking chính xác các kiện hàng là yếu tố thiết yếu trên những dây chuyền sản xuất bận rộn tại các cơ sở sản xuất. Ultralytics YOLO11 có thể được sử dụng để tracking và đếm từng sản phẩm khi chúng di chuyển qua các điểm kiểm tra quan trọng, cập nhật số lượng theo thời gian thực và đánh dấu mọi sai lệch. Điều này giúp giảm số lô hàng bị bỏ sót hoặc không được ghi nhận, đồng thời hỗ trợ hoạt động trơn tru và đáng tin cậy hơn.
Hình 5. Tracking và đếm các kiện hàng bằng YOLO11 (Nguồn).
Tích hợp MNN có thể tạo ra tác động đặc biệt rõ rệt trong bối cảnh này. Sau khi model Ultralytics YOLO11 được export sang format MNN, model có thể chạy trực tiếp trên các thiết bị nhỏ gọn, tiêu thụ ít điện năng được lắp đặt dọc theo băng chuyền.
Vì toàn bộ quá trình xử lý diễn ra cục bộ, hệ thống có thể cung cấp phản hồi tức thì và không cần kết nối Internet. Điều này đảm bảo hiệu năng nhanh, ổn định trên sàn nhà máy, giúp quá trình sản xuất vận hành hiệu quả mà vẫn duy trì độ chính xác và khả năng kiểm soát cao.
Ưu điểm của việc export Ultralytics YOLO11 sang format model MNN#
Dưới đây là một số lợi ích chính của tích hợp MNN do Ultralytics cung cấp:
- Thời gian phản hồi nhanh hơn: Vì inference chạy trên thiết bị, các dự đoán được thực hiện theo thời gian thực với độ trễ tối thiểu.
- Cải thiện quyền riêng tư dữ liệu: Dữ liệu được lưu trên thiết bị, giảm nhu cầu gửi hình ảnh hoặc video nhạy cảm lên cloud.
- Mã nguồn mở và được duy trì tích cực: Được Alibaba hậu thuẫn và cộng đồng tích cực hỗ trợ, MNN có độ tin cậy cao và thường xuyên được cập nhật các cải tiến về hiệu năng.
Các yếu tố cần cân nhắc khi sử dụng framework MNN#
Trước khi chọn MNN làm framework triển khai, điều quan trọng là đánh giá mức độ phù hợp của framework với yêu cầu dự án, mục tiêu triển khai và các giới hạn kỹ thuật. Dưới đây là một số yếu tố chính cần cân nhắc:
- Khả năng tương thích lâu dài: Các bản cập nhật framework hoặc thay đổi đối với nền tảng mục tiêu có thể yêu cầu kiểm thử lại hoặc điều chỉnh để mọi thứ tiếp tục hoạt động trơn tru.
- Ít công cụ debug hơn: So với các framework lớn hơn, MNN có ít công cụ hơn để debug và kiểm tra hành vi của model, điều này có thể khiến việc khắc phục sự cố trở nên khó khăn hơn.
- Hiệu năng phụ thuộc vào phần cứng: Tốc độ và hiệu quả của model sẽ thay đổi tùy theo thiết bị. Hãy kiểm thử phần cứng mục tiêu để đảm bảo thiết bị đáp ứng các mục tiêu hiệu năng.
Những điểm chính#
Khả năng hỗ trợ tích hợp MNN của Ultralytics giúp dễ dàng export các model YOLO11 để sử dụng trên thiết bị di động và thiết bị nhúng. Đây là một lựa chọn thực tế cho các ứng dụng yêu cầu khả năng phát hiện nhanh, đáng tin cậy mà không phụ thuộc vào quyền truy cập cloud hoặc kết nối liên tục.
Thiết lập này giúp đơn giản hóa quá trình triển khai trong khi vẫn duy trì hiệu năng và giữ mức tiêu thụ tài nguyên thấp. Dù bạn đang xây dựng hệ thống nhà thông minh, công cụ thực địa hay thiết bị công nghiệp nhỏ gọn, việc export Ultralytics YOLO11 sang MNN mang lại một phương thức linh hoạt và hiệu quả để chạy các tác vụ computer vision trực tiếp trên thiết bị edge.
Hãy tham gia cộng đồng đang phát triển của chúng tôi! Khám phá repository GitHub để tìm hiểu sâu hơn về AI. Sẵn sàng bắt đầu các dự án computer vision của bạn? Hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về AI trong lĩnh vực chăm sóc sức khỏe và computer vision trong ngành bán lẻ trên các trang giải pháp của chúng tôi!
