Export các model Ultralytics YOLO11 sang format model NCNN

Các giải pháp AI đang ngày càng phổ biến, ngay cả trong những lĩnh vực có mức độ rủi ro cao như quản lý thảm họa, quản lý chất thải và chữa cháy. Khi mức độ ứng dụng tiếp tục tăng, các model AI đang được triển khai trong nhiều môi trường đa dạng hơn—không chỉ trên server hoặc đám mây mà còn trực tiếp trên các thiết bị hoạt động tại hiện trường.

Ví dụ, drone và thiết bị có các thành phần edge, được cung cấp năng lượng bởi những bộ xử lý nhỏ, có thể đóng vai trò quan trọng tại các khu vực xảy ra thảm họa. Được trang bị camera nhiệt, các thiết bị này có thể thu thập và phân tích dữ liệu tại chỗ để định vị những người bị mắc kẹt dưới đống đổ nát. Điều này được thực hiện nhờ thị giác máy tính, một nhánh của trí tuệ nhân tạo có khả năng diễn giải thông tin hình ảnh từ ảnh và video.

Tuy nhiên, việc triển khai các model AI thị giác trên thiết bị edge không đơn giản như vẻ ngoài. Model AI cần được tối ưu để chạy hiệu quả trên phần cứng có năng lực tính toán và bộ nhớ hạn chế. Vì vậy, các framework AI như NCNN là rất cần thiết. Chúng giúp chuyển đổi và tối ưu model để đạt hiệu năng thời gian thực trên các thiết bị công suất thấp mà không làm giảm độ chính xác.

Cụ thể, các model Ultralytics YOLO như Ultralytics YOLO11 có thể dễ dàng được xuất sang định dạng model NCNN bằng tích hợp NCNN được Ultralytics hỗ trợ. Việc chuyển đổi YOLO11 sang định dạng model NCNN giúp model chạy nhanh hơn, sử dụng ít bộ nhớ hơn và hoạt động ổn định trên nhiều thiết bị khác nhau mà không làm mất độ chính xác.

Trong bài viết này, chúng ta sẽ tìm hiểu về tích hợp NCNN được Ultralytics hỗ trợ và hướng dẫn cách xuất model YOLO11 sang định dạng model NCNN. Hãy bắt đầu!

Tổng quan về NCNN: Framework neural network nhẹ#

NCNN là framework suy luận neural network mã nguồn mở do Tencent phát triển. Framework này được thiết kế riêng cho môi trường mobile và edge, cung cấp khả năng suy luận hiệu năng cao với footprint tối thiểu. Điều này khiến NCNN trở nên lý tưởng để triển khai trên các thiết bị hạn chế tài nguyên như smartphone, drone và thiết bị IoT (Internet of Things).

Framework NCNN đã trở nên phổ biến trong cộng đồng AI và deep learning nhờ hiệu quả, tính portable và khả năng tối ưu cho CPU mobile (Central Processing Units). Framework này cho phép developer chạy các model neural network trên những thiết bị có giá thành hợp lý nhưng hạn chế về bộ nhớ và năng lực xử lý. Được thiết kế đơn giản và linh hoạt, NCNN hỗ trợ nhiều model thị giác máy tính và chạy trên nhiều nền tảng, bao gồm Android, Linux, iOS và macOS.

Hình 1. Các model ở định dạng NCNN có thể được triển khai trên nhiều nền tảng.

Các tính năng chính để tối ưu hiệu năng NCNN#

Dưới đây là một số tính năng chính giúp NCNN trở thành một framework suy luận neural network hiệu quả và được sử dụng rộng rãi:

• Runtime nhẹ, không phụ thuộc phần cứng: Framework NCNN được tối ưu để chạy model trên CPU tiêu chuẩn và không yêu cầu phần cứng chuyên dụng như GPU (Graphics Processing Units) hoặc NPU (Neural Processing Units).
• Lượng tử hóa model: Đối với các ứng dụng yêu cầu cao về bộ nhớ và tốc độ, NCNN hỗ trợ những phương pháp lượng tử hóa giúp giảm kích thước model và cải thiện thời gian suy luận. Tính năng này giúp model AI chạy ổn định trên các thiết bị mobile và thiết bị nhúng.
• Mã nguồn mở và dễ tiếp cận: Là một framework mã nguồn mở, NCNN được cung cấp miễn phí để mọi người sử dụng, chỉnh sửa và cải tiến. Điều này khuyến khích đổi mới và mở rộng ứng dụng trong nhiều trường hợp sử dụng khác nhau.
• Phát triển tích cực và cộng đồng: NCNN được Tencent và cộng đồng developer đang phát triển duy trì tích cực trên GitHub, với các bản cập nhật thường xuyên và những cải tiến về khả năng tương thích với model.

Xuất Ultralytics YOLO11 sang định dạng model NCNN: Hướng dẫn nhanh#

Sau khi đã tìm hiểu NCNN là gì, hãy cùng xem xét kỹ hơn cách xuất các model Ultralytics YOLO11 sang định dạng NCNN.

Bước 1: Cài đặt package Python Ultralytics#

Trước khi xuất model, bước đầu tiên là cài đặt package Python Ultralytics bằng trình cài đặt package pip. Bạn có thể thực hiện việc này bằng cách chạy "pip install ultralytics" trong terminal hoặc command prompt. Nếu làm việc trong Jupyter Notebook hoặc Google Colab, hãy thêm dấu chấm than trước lệnh như sau: "!pip install ultralytics".

Package Ultralytics cung cấp các công cụ để train, test, fine-tune và xuất các model AI thị giác cho nhiều tác vụ thị giác máy tính. Nếu gặp vấn đề trong quá trình cài đặt hoặc xuất model, tài liệu chính thức của Ultralytics và hướng dẫn Các vấn đề thường gặp là những tài nguyên hữu ích để khắc phục sự cố.

Bước 2: Xuất Ultralytics YOLO11#

Sau khi cài đặt package Ultralytics, bạn có thể load model YOLO11 và xuất model sang định dạng NCNN. Ví dụ dưới đây sử dụng một model đã được pre-train ("yolo11n.pt") và xuất model ở định dạng NCNN, lưu đầu ra vào thư mục có tên "/yolo11n_ncnn_model".

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="ncnn")

Sau đó, model Ultralytics YOLO11 đã xuất có thể được triển khai trên nhiều thiết bị nhẹ như smartphone, hệ thống nhúng hoặc nền tảng IoT. Quy trình triển khai cũng được tinh gọn đáng kể.

Ví dụ, hãy xem đoạn code dưới đây, minh họa cách load model đã xuất và chạy suy luận. Suy luận là quá trình sử dụng model đã được train để đưa ra dự đoán trên dữ liệu mới chưa từng thấy. Trong ví dụ này, model được kiểm thử trên ảnh một người đàn ông đang đạp xe, được lấy từ một URL công khai.

ncnn_model = YOLO("./yolo11n_ncnn_model")
results = ncnn_model("https://images.pexels.com/photos/19431209/pexels-photo-19431209/free-photo-of-a-man-riding-a-bike-on-a-road.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Sau khi chạy code, bạn sẽ tìm thấy ảnh đầu ra trong thư mục "runs/detect/predict".

Hình 2. Phát hiện đối tượng bằng model Ultralytics YOLO11 đã xuất ở định dạng NCNN. Ảnh do tác giả cung cấp.

Tại sao nên chọn tính năng phát hiện thời gian thực với NCNN#

Khi khám phá các tích hợp khác nhau được Ultralytics hỗ trợ, bạn có thể nhận thấy có nhiều tùy chọn xuất. Vậy khi nào nên chọn định dạng NCNN?

Định dạng xuất NCNN là lựa chọn đáng tin cậy khi bạn cần triển khai các model Ultralytics YOLO11 trên những thiết bị có tài nguyên hạn chế. Định dạng này đặc biệt hữu ích cho các ứng dụng thời gian thực chạy trực tiếp trên thiết bị, chẳng hạn thiết bị edge, mà không cần kết nối với đám mây. Điều đó có nghĩa là model có thể xử lý các tác vụ như phát hiện đối tượng ngay tại chỗ.

Dưới đây là một số tình huống phổ biến mà NCNN rất phù hợp:

• Triển khai trên mobile: Định dạng NCNN được tối ưu cho Android và iOS, giúp dễ dàng tích hợp model vào các ứng dụng mobile để suy luận nhanh trên thiết bị với độ trễ tối thiểu.

• Hệ thống nhúng và thiết bị IoT: Nếu triển khai trên các thiết bị như Raspberry Pi hoặc NVIDIA Jetson, việc xuất sang NCNN có thể giúp cải thiện hiệu năng và khả năng phản hồi.

• Triển khai trên desktop và server: Mặc dù NCNN rất phù hợp với các thiết bị công suất thấp, framework này cũng hỗ trợ Linux, Windows và macOS cho môi trường desktop và server. Điều này mang đến cho developer các tùy chọn triển khai linh hoạt.

Hình 3. Các tùy chọn triển khai model Ultralytics YOLO11 với NCNN. Ảnh do tác giả cung cấp.

Các trường hợp sử dụng khi triển khai model Ultralytics YOLO11 với NCNN#

Tiếp theo, hãy cùng tìm hiểu một số trường hợp sử dụng thực tế mà việc xuất các model Ultralytics YOLO11 sang NCNN có thể tạo ra khác biệt đáng kể.

Mũ bảo hộ tích hợp AI thị giác cho chữa cháy#

Mũ bảo hộ được trang bị camera và micro-computer nhúng có thể được sử dụng trong các lĩnh vực như xây dựng và chữa cháy để nâng cao mức độ an toàn và nhận thức tình huống. Các model AI thị giác thời gian thực như Ultralytics YOLO11 có thể chạy trên những thiết bị này để phát hiện nhiều loại đối tượng và thiết bị. Ví dụ, những chiếc mũ này có thể giúp lính cứu hỏa phát hiện người, chướng ngại vật hoặc mối nguy hiểm trong điều kiện tầm nhìn thấp.

Tuy nhiên, việc chạy các model kích thước đầy đủ trực tiếp trên thiết bị đeo có thể làm giảm hiệu năng và nhanh chóng tiêu hao pin. Trong trường hợp này, sử dụng tích hợp NCNN là một lựa chọn sáng suốt. Tích hợp này cho phép suy luận có độ trễ thấp và tiết kiệm năng lượng.

Phân loại chất thải và thùng rác thông minh#

Tương tự, thùng rác thông minh có thể được tích hợp với camera và các bộ xử lý AI edge nhỏ gọn để nhận diện và phân loại vật liệu ngay khi chúng bị vứt bỏ. Các model AI thị giác như YOLO11 có thể được train tùy chỉnh để phát hiện nhiều loại chất thải như giấy, nhựa, cao su, v.v.

Sau khi chất thải được nhận diện, chúng có thể được tự động phân loại vào các ngăn riêng dựa trên khả năng tái sử dụng. Bằng cách sử dụng AI edge cùng các model Ultralytics YOLO11 đã xuất ở định dạng NCNN, những thùng rác này có thể xử lý dữ liệu cục bộ—mà không cần kết nối Internet. Nhờ đó, chúng có thể hoạt động tự chủ và đưa ra quyết định phân loại theo thời gian thực với độ trễ tối thiểu.

Hình 4. Phát hiện vật liệu chất thải nhựa bằng YOLO11.

Giám sát gia súc bằng drone và thị giác máy tính#

Đôi khi, các khu vực nông nghiệp ở vùng xa xôi không có kết nối Internet ổn định hoặc thậm chí không có nguồn điện liên tục, làm hạn chế khả năng chạy các ứng dụng AI trực tuyến. Trong những trường hợp như vậy, thiết bị edge và drone có thể được sử dụng để xử lý nhiều tác vụ khác nhau.

Một ví dụ điển hình là giám sát vật nuôi như gia súc, cừu và gia cầm. Việc này có thể được thực hiện bằng các model AI thị giác như YOLO11, dùng để theo dõi chuyển động của động vật, phát hiện dấu hiệu chấn thương, bệnh tật hoặc hành vi bất thường, đồng thời cảnh báo nông dân khi vật nuôi bị thất lạc. Tích hợp NCNN cũng cho phép chạy và xử lý dữ liệu này trực tiếp trên thiết bị edge, rất phù hợp để phân tích ảnh và video tại các trang trại ở vùng xa xôi hoặc không có kết nối lưới điện.

Hình 5. Minh họa việc sử dụng YOLO11 để giám sát vật nuôi.

Những điểm chính#

Việc xuất các model YOLO11 bằng tích hợp NCNN được Ultralytics hỗ trợ là một cách đơn giản để đưa AI thị giác vào các môi trường công suất thấp. Dù là drone trong khu vực thảm họa, thùng rác thông minh phân loại chất thải hay hoạt động giám sát vật nuôi tại các trang trại vùng xa, YOLO và NCNN đều cho phép thực hiện suy luận AI thời gian thực nhanh, hiệu quả và portable. Cách tiếp cận này giúp các hệ thống AI trở nên dễ tiếp cận và đáng tin cậy hơn trong những thời điểm quan trọng nhất.

Bạn muốn tìm hiểu thêm về AI? Hãy khám phá repository GitHub của chúng tôi, kết nối với cộng đồng và xem các tùy chọn cấp phép để khởi động dự án thị giác máy tính của bạn. Tìm hiểu cách những đổi mới như AI trong bán lẻ và thị giác máy tính trong lĩnh vực y tế đang định hình tương lai trên các trang giải pháp của chúng tôi.