AI thị giác nhúng với Ultralytics YOLO & MCU STMicroelectronics

Khi việc áp dụng AI tăng lên trên các ngành công nghiệp, nhu cầu về các giải pháp hiệu suất cao, công suất thấp có khả năng chạy các suy luận theo thời gian thực ở biên cũng đang tăng lên nhanh chóng. Để đáp ứng nhu cầu công nghệ này, STMicroelectronics đã giới thiệu vi điều khiển STM32N6, có Bộ xử lý thần kinh (NPU) tích hợp được thiết kế cho khối lượng công việc AI nhúng. 

Bằng cách chạy mô hình Ultralytics YOLO trên STM32N6, STMicroelectronics đã chứng minh rằng AI thị giác nhúng chính xác và hiệu quả có thể thực hiện được trên các bộ vi điều khiển, mở ra những cơ hội mới cho trí thông minh trên thiết bị có khả năng mở rộng trên nhiều lĩnh vực như thành phố thông minh, chăm sóc sức khỏe và điện tử tiêu dùng.

Khám phá Vision AI cho các thiết bị công suất thấp ở biên

STMicroelectronics là công ty hàng đầu thế giới về công nghệ bán dẫn, với hơn 50.000 nhân viên và hơn 200.000 khách hàng trên toàn thế giới. Họ thiết kế và xây dựng chip cho phép các ứng dụng từ xe điện và thiết bị công nghiệp đến thiết bị nhà thông minh và điện tử tiêu dùng.

Khi ngày càng có nhiều ngành chuyển sang AI để làm cho các thiết bị thông minh hơn và phản ứng nhanh hơn, STMicroelectronics đã tập trung vào việc đưa những khả năng đó trực tiếp lên edge. Ví dụ: vi điều khiển STM32N6 của họ, một chip mạnh mẽ, tiết kiệm năng lượng, có thể xử lý các tác vụ AI trên thiết bị như computer vision.

Để giúp các nhà phát triển xây dựng các ứng dụng thị giác nhúng trên STM32N6, STMicroelectronics đã tìm kiếm các mô hình linh hoạt, hiệu suất cao có thể chạy hiệu quả trên bộ vi điều khiển. Ultralytics YOLO Các mô hình này tỏ ra rất phù hợp, mang lại sự kết hợp đáng tin cậy giữa tốc độ, độ chính xác và khả năng tích hợp dễ dàng.

Những hạn chế của việc kích hoạt các hệ thống nhúng (embedded systems) hỗ trợ AI

Trước khi khái niệm Edge AI được chấp nhận rộng rãi, các mô hình thị giác máy tính thường được phát triển để chạy trên các hệ thống tập trung lớn, chẳng hạn như máy chủ đám mây hoặc GPU (Bộ xử lý đồ họa). Các nền tảng này cung cấp khả năng tính toán cần thiết để đào tạo và triển khai các mô hình lớn, nhưng chúng cũng đưa ra những hạn chế như tiêu thụ năng lượng cao, phụ thuộc vào mạng, độ trễ và tăng chi phí vận hành.

Khi sự quan tâm tăng lên trong việc triển khai các ứng dụng thời gian thực thông minh hơn trong các ngành như chăm sóc sức khỏe, điện tử tiêu dùng và thành phố thông minh, rõ ràng việc đưa quá trình xử lý AI đến gần hơn với nơi dữ liệu được tạo ra, ngay trên thiết bị, vừa là một nhu cầu kỹ thuật vừa là một cơ hội chiến lược.

Tuy nhiên, việc chạy các mô hình AI trên các vi điều khiển công suất thấp có thể là một thách thức. Các thiết bị này thường có bộ nhớ, sức mạnh tính toán và dung lượng năng lượng hạn chế, gây khó khăn cho việc triển khai các mô hình thị giác phức tạp mà không ảnh hưởng đến hiệu suất hoặc độ chính xác. 

STMicroelectronics cần xác định một bộ mô hình đủ linh hoạt để mang lại khả năng thị giác máy tính theo thời gian thực, đáng tin cậy cho vi điều khiển STM32N6 của họ, mà không yêu cầu các nhà phát triển phải đơn giản hóa đáng kể các mô hình hoặc quy trình làm việc của họ. Mục tiêu của họ là cung cấp AI trên thiết bị có ý nghĩa trong khi vẫn tuân thủ các ràng buộc nghiêm ngặt của hệ thống nhúng.

hợp lý hóa YOLO triển khai mô hình trên vi điều khiển

Để kích hoạt AI tiên tiến trên các thiết bị nhúng công suất thấp, STMicroelectronics đã giới thiệu STM32N6, một vi điều khiển hiệu suất cao được trang bị Neural-ART Accelerator™. Đây là một Neural Processing Unit (NPU) nội bộ được xây dựng đặc biệt cho các khối lượng công việc AI biên. Công nghệ này giúp các nhà phát triển có thể chạy suy luận AI trực tiếp trên thiết bị, giảm sự phụ thuộc vào điện toán đám mây đồng thời cải thiện tốc độ, khả năng phản hồi và hiệu quả năng lượng.

STMicroelectronics hợp tác với Ultralytics để đánh giá và giới thiệu khả năng của STM32N6 bằng cách chạy Ultralytics YOLO các mô hình trên vi điều khiển. Được biết đến với sự cân bằng giữa tốc độ và độ chính xác, Ultralytics YOLO các mô hình phù hợp với môi trường hạn chế về tài nguyên và triển khai nhúng.

‍

Bằng cách chạy nhiều YOLO Với các biến thể mô hình trực tiếp trên STM32N6, STMicroelectronics đã có thể trình diễn một loạt các trường hợp sử dụng Vision AI, chẳng hạn như phát hiện, phân loại và theo dõi đối tượng , tất cả đều nằm trong giới hạn công suất và bộ nhớ của một bộ vi điều khiển. Sự hợp tác này cung cấp cho các nhà phát triển một lựa chọn đáng tin cậy để triển khai các hệ thống nhúng hỗ trợ AI theo thời gian thực bằng cách sử dụng các mô hình thị giác có khả năng mở rộng và sẵn sàng cho sản xuất.

Tại sao chọn Ultralytics YOLO mô hình?

Ultralytics YOLO Các mô hình này mang đến cho STMicroelectronics sự kết hợp hoàn hảo giữa độ chính xác, hiệu quả và tính linh hoạt cần thiết cho các hệ thống nhúng hỗ trợ AI. Các mô hình này đủ nhẹ để chạy trên các bộ vi điều khiển công suất thấp như STM32N6, nhưng vẫn đủ mạnh mẽ để mang lại hiệu suất phát hiện đối tượng và phân đoạn thực thể theo thời gian thực.

Ví dụ, khi chạy Ultralytics YOLOv8n Mô hình ở độ phân giải 256 x 256 trên STM32N6, hệ thống đạt 34 khung hình/giây với mỗi lần suy luận mất khoảng 29 mili giây. Các phép đo công suất cho thấy hệ thống chỉ sử dụng 9,4 milijoule cho mỗi lần suy luận , rất phù hợp cho các tác vụ thị giác thời gian thực trên các thiết bị công suất thấp.

Với sự hỗ trợ cho nhiều YOLO Với các biến thể mô hình, các nhà phát triển có thể linh hoạt tinh chỉnh tốc độ, kích thước hoặc độ chính xác tùy thuộc vào các hạn chế của ứng dụng. Kiến trúc dễ tích hợp, kết hợp với cộng đồng mạnh mẽ và hỗ trợ tài liệu, đã tạo nên Ultralytics YOLO phù hợp tự nhiên với mục tiêu của STMicroelectronics là đẩy nhanh việc áp dụng Vision AI trên nhiều trường hợp sử dụng nhúng.

Thông qua giấy phép Ultralytics Enterprise , STMicroelectronics cung cấp cho khách hàng quyền truy cập vào bộ sản phẩm đầy đủ YOLO mô hình để thử nghiệm và phát triển nội bộ. Tuy nhiên, đối với bất kỳ triển khai thương mại nào, khách hàng được yêu cầu phải yêu cầu giấy phép thương mại riêng của họ trực tiếp từ Ultralytics thông qua biểu mẫu cấp phép. Điều này đảm bảo tính tuân thủ và hỗ trợ lộ trình mở rộng hướng tới các giải pháp Vision AI sẵn sàng đưa vào sản xuất.

Từ thành phố thông minh đến chăm sóc sức khỏe: Ứng dụng AI biên (edge AI) có khả năng mở rộng

Khả năng chạy Ultralytics YOLO Các mô hình trực tiếp trên vi điều khiển STM32N6 đã mở ra một loạt các ứng dụng Vision AI cho STMicroelectronics và hệ sinh thái nhà phát triển của công ty. Bằng cách cung cấp khả năng suy luận nhanh chóng, chính xác trên thiết bị mà không cần dựa vào xử lý bên ngoài hoặc kết nối đám mây, giải pháp này cho phép triển khai các tính năng thông minh trong các hệ thống nhỏ gọn, công suất thấp.

Khách hàng đang khám phá các ứng dụng trong nhiều lĩnh vực, chẳng hạn như phát hiện người đi bộ và phương tiện theo thời gian thực trong cơ sở hạ tầng thành phố thông minh, kiểm tra an toàn và kiểm soát chất lượng trên thiết bị trong tự động hóa công nghiệp, và chẩn đoán hỗ trợ AI trong các công cụ chăm sóc sức khỏe di động. Tương tự, trong lĩnh vực điện tử tiêu dùng, YOLO Các mô hình này cho phép các tính năng phản hồi như phát hiện sự hiện diện, nhận dạng cử chỉ và theo dõi đối tượng - tất cả đều nằm trong giới hạn hiệu suất của các thiết bị chạy bằng pin.

‍

Xây dựng các giải pháp Vision AI của ngày mai ngay hôm nay

Khi AI tiếp tục phát triển, STMicroelectronics tập trung vào việc giúp việc mang đến các giải pháp mạnh mẽ và hiệu quả cho các thiết bị biên trở nên dễ dàng hơn. Bằng cách hợp tác chặt chẽ với các đối tác như Ultralytics , họ đang giúp các nhà phát triển bắt đầu nhanh hơn với các mô hình, công cụ và tài nguyên tương thích với STM32 sẵn sàng sử dụng. 

Hãy thực hiện bước tiếp theo trong đổi mới AI tiên tiến. Truy cập kho lưu trữ GitHub của chúng tôi để khám phá cách Ultralytics YOLO Các mô hình đang chuyển đổi tầm nhìn nhúng. Khám phá các ứng dụng của AI trong chăm sóc sức khỏe và thị giác máy tính trong bán lẻ , và xem qua các tùy chọn cấp phép của chúng tôi ngay hôm nay!