AI thị giác nhúng với Ultralytics YOLO và STMicroelectronics MCU

Khi việc áp dụng AI tăng lên trong các ngành công nghiệp, nhu cầu về các giải pháp hiệu suất cao, công suất thấp có khả năng chạy suy luận thời gian thực tại biên cũng tăng nhanh chóng. Để đáp ứng nhu cầu công nghệ này, STMicroelectronics đã giới thiệu bộ vi điều khiển STM32N6, có Bộ xử lý thần kinh (NPU) tích hợp được thiết kế cho khối lượng công việc AI nhúng. 

Bằng cách chạy mô hình Ultralytics YOLO trên STM32N6, STMicroelectronics đã chứng minh rằng AI thị giác nhúng chính xác và hiệu quả có thể thực hiện được trên các bộ vi điều khiển, mở ra những cơ hội mới cho trí thông minh có thể mở rộng trên thiết bị trong nhiều lĩnh vực như thành phố thông minh, chăm sóc sức khỏe và điện tử tiêu dùng.

Khám phá Vision AI cho các thiết bị công suất thấp ở biên

STMicroelectronics là công ty hàng đầu thế giới về công nghệ bán dẫn, với hơn 50.000 nhân viên và hơn 200.000 khách hàng trên toàn thế giới. Họ thiết kế và chế tạo chip cho phép ứng dụng từ xe điện và thiết bị công nghiệp đến thiết bị gia đình thông minh và thiết bị điện tử tiêu dùng.

Khi ngày càng nhiều ngành công nghiệp chuyển sang AI để làm cho các thiết bị thông minh hơn và phản ứng nhanh hơn, STMicroelectronics đã tập trung vào việc đưa những khả năng đó trực tiếp đến giới hạn. Ví dụ, bộ vi điều khiển STM32N6 của họ, một con chip mạnh mẽ, tiết kiệm năng lượng, có thể xử lý các tác vụ AI trên thiết bị như thị giác máy tính .

Để giúp các nhà phát triển xây dựng các ứng dụng thị giác nhúng trên STM32N6, STMicroelectronics đã tìm kiếm các mô hình linh hoạt, hiệu suất cao có thể chạy hiệu quả trên bộ vi điều khiển. Các mô hình YOLO của Ultralytics hóa ra lại rất phù hợp, mang đến sự kết hợp đáng tin cậy giữa tốc độ, độ chính xác và khả năng tích hợp dễ dàng.

Những hạn chế của việc kích hoạt các hệ thống nhúng hỗ trợ AI

Trước khi khái niệm Edge AI được chấp nhận rộng rãi, các mô hình thị giác máy tính thường được phát triển để chạy trên các hệ thống tập trung lớn như máy chủ đám mây hoặc GPU (Bộ xử lý đồ họa). Các nền tảng này cung cấp khả năng tính toán cần thiết để đào tạo và triển khai các mô hình lớn, nhưng chúng cũng đưa ra những hạn chế như mức tiêu thụ năng lượng cao, phụ thuộc vào mạng, độ trễ và tăng chi phí vận hành.

Khi sự quan tâm ngày càng tăng đối với việc triển khai các ứng dụng thông minh hơn, thời gian thực trong các ngành công nghiệp như chăm sóc sức khỏe, điện tử tiêu dùng và thành phố thông minh, thì việc đưa quá trình xử lý AI đến gần hơn với nơi tạo ra dữ liệu, trên chính thiết bị, trở thành một nhu cầu kỹ thuật cũng như một cơ hội chiến lược.

Tuy nhiên, việc chạy các mô hình AI trên các bộ vi điều khiển công suất thấp có thể là một thách thức. Các thiết bị này thường có bộ nhớ, sức mạnh tính toán và khả năng năng lượng hạn chế, khiến việc triển khai các mô hình thị giác phức tạp trở nên khó khăn mà không ảnh hưởng đến hiệu suất hoặc độ chính xác. 

STMicroelectronics cần xác định một bộ mô hình đủ linh hoạt để mang lại khả năng thị giác máy tính đáng tin cậy, thời gian thực cho bộ vi điều khiển STM32N6 của họ, mà không yêu cầu các nhà phát triển phải đơn giản hóa đáng kể các mô hình hoặc quy trình làm việc của họ. Mục tiêu của họ là cung cấp AI có ý nghĩa trên thiết bị trong khi vẫn tuân thủ các ràng buộc nghiêm ngặt của các hệ thống nhúng.

Triển khai mô hình YOLO hợp lý trên vi điều khiển

Để kích hoạt AI tiên tiến trên các thiết bị nhúng công suất thấp, STMicroelectronics đã giới thiệu STM32N6, một bộ vi điều khiển hiệu suất cao được trang bị Neural-ART Accelerator™. Đây là một Bộ xử lý thần kinh (NPU) nội bộ được xây dựng dành riêng cho khối lượng công việc AI biên. Công nghệ này giúp các nhà phát triển có thể chạy suy luận AI trực tiếp trên thiết bị, giảm sự phụ thuộc vào điện toán đám mây đồng thời cải thiện tốc độ, khả năng phản hồi và hiệu quả năng lượng.

STMicroelectronics đã hợp tác với Ultralytics để đánh giá và giới thiệu khả năng của STM32N6 bằng cách chạy các mô hình Ultralytics YOLO trên bộ vi điều khiển. Được biết đến với sự cân bằng giữa tốc độ và độ chính xác, các mô hình Ultralytics YOLO rất phù hợp với các môi trường hạn chế về tài nguyên và triển khai nhúng.

‍

Bằng cách chạy nhiều biến thể mô hình YOLO trực tiếp trên STM32N6, STMicroelectronics đã có thể chứng minh một loạt các trường hợp sử dụng Vision AI, chẳng hạn như phát hiện đối tượng , phân loại và theo dõi, tất cả đều nằm trong giới hạn công suất và bộ nhớ của một bộ vi điều khiển. Sự hợp tác này cung cấp cho các nhà phát triển một tùy chọn đáng tin cậy để triển khai các hệ thống nhúng hỗ trợ AI theo thời gian thực bằng cách sử dụng các mô hình tầm nhìn có thể mở rộng và sẵn sàng sản xuất.

Tại sao nên chọn mô hình YOLO của Ultralytics?

Các mô hình YOLO của Ultralytics cung cấp cho STMicroelectronics sự kết hợp hoàn hảo giữa độ chính xác, hiệu quả và tính linh hoạt cần thiết cho các hệ thống nhúng hỗ trợ AI. Các mô hình đủ nhẹ để chạy trên các bộ vi điều khiển công suất thấp như STM32N6, nhưng đủ mạnh để cung cấp hiệu suất phát hiện đối tượng và phân đoạn phiên bản theo thời gian thực.

Ví dụ, khi chạy mô hình Ultralytics YOLOv8n ở độ phân giải 256 x 256 trên STM32N6, hệ thống đạt 34 khung hình mỗi giây với mỗi lần suy luận mất khoảng 29 mili giây. Các phép đo công suất cho thấy nó chỉ sử dụng 9,4 milijoule cho mỗi lần suy luận , khiến nó phù hợp với các tác vụ thị giác thời gian thực trên các thiết bị công suất thấp.

Với sự hỗ trợ cho nhiều biến thể mô hình YOLO, các nhà phát triển có thể linh hoạt tinh chỉnh tốc độ, kích thước hoặc độ chính xác tùy thuộc vào các hạn chế của ứng dụng. Kiến trúc dễ tích hợp, kết hợp với sự hỗ trợ mạnh mẽ của cộng đồng và tài liệu, đã khiến Ultralytics YOLO trở thành sự lựa chọn phù hợp tự nhiên cho mục tiêu của STMicroelectronics là đẩy nhanh việc áp dụng Vision AI trên nhiều trường hợp sử dụng nhúng.

Thông qua giấy phép Ultralytics Enterprise , STMicroelectronics cung cấp cho khách hàng quyền truy cập vào bộ mô hình YOLO đầy đủ để thử nghiệm và phát triển nội bộ. Tuy nhiên, đối với bất kỳ triển khai thương mại nào, khách hàng được yêu cầu yêu cầu giấy phép thương mại của riêng họ trực tiếp từ Ultralytics thông qua biểu mẫu giấy phép. Điều này đảm bảo tuân thủ và hỗ trợ một con đường có thể mở rộng đến các giải pháp Vision AI sẵn sàng sản xuất.

Từ thành phố thông minh đến chăm sóc sức khỏe: AI biên có thể mở rộng đang hoạt động

Khả năng chạy các mô hình Ultralytics YOLO trực tiếp trên bộ vi điều khiển STM32N6 đã mở khóa một loạt các ứng dụng Vision AI cho STMicroelectronics và hệ sinh thái nhà phát triển của công ty. Bằng cách cung cấp suy luận nhanh chóng, chính xác trên thiết bị mà không cần dựa vào xử lý bên ngoài hoặc kết nối đám mây, giải pháp này giúp triển khai các tính năng thông minh trong các hệ thống nhỏ gọn, công suất thấp.

Khách hàng đang khám phá các trường hợp sử dụng trên nhiều lĩnh vực như phát hiện người đi bộ và phương tiện theo thời gian thực trong cơ sở hạ tầng thành phố thông minh, kiểm tra an toàn trên thiết bị và kiểm soát chất lượng trong tự động hóa công nghiệp và chẩn đoán hỗ trợ AI trong các công cụ chăm sóc sức khỏe di động. Tương tự như vậy, trong không gian điện tử tiêu dùng, các mô hình YOLO cho phép các tính năng phản hồi như phát hiện sự hiện diện, nhận dạng cử chỉ và theo dõi đối tượng - tất cả đều nằm trong giới hạn hiệu suất của các thiết bị chạy bằng pin.

‍

Xây dựng các giải pháp AI tầm nhìn của ngày mai ngay hôm nay

Khi AI tiếp tục phát triển, STMicroelectronics tập trung vào việc giúp đưa các giải pháp mạnh mẽ, hiệu quả đến các thiết bị biên dễ dàng hơn. Bằng cách hợp tác chặt chẽ với các đối tác như Ultralytics, họ đang giúp các nhà phát triển bắt đầu nhanh hơn với các mô hình, công cụ và tài nguyên tương thích với STM32 sẵn sàng sử dụng. 

Thực hiện bước tiếp theo trong đổi mới AI tiên tiến. Truy cập kho lưu trữ GitHub của chúng tôi để khám phá cách các mô hình YOLO của Ultralytics đang chuyển đổi tầm nhìn nhúng. Khám phá các ứng dụng của AI trong chăm sóc sức khỏe và tầm nhìn máy tính trong bán lẻ và xem các tùy chọn cấp phép của chúng tôi ngay hôm nay!