Embedded Vision AI với Ultralytics YOLO & STMicroelectronics MCU

Khi việc áp dụng AI tăng lên trên các ngành công nghiệp, nhu cầu về các giải pháp hiệu suất cao, công suất thấp có khả năng chạy các suy luận theo thời gian thực ở biên cũng đang tăng lên nhanh chóng. Để đáp ứng nhu cầu công nghệ này, STMicroelectronics đã giới thiệu vi điều khiển STM32N6, có Bộ xử lý thần kinh (NPU) tích hợp được thiết kế cho khối lượng công việc AI nhúng. 

Bằng cách chạy các mô hình Ultralytics YOLO trên STM32N6, STMicroelectronics đã chứng minh rằng AI thị giác nhúng chính xác và hiệu quả có thể thực hiện được trên vi điều khiển, mở ra những cơ hội mới cho trí tuệ trên thiết bị có khả năng mở rộng trên các lĩnh vực như thành phố thông minh, chăm sóc sức khỏe và điện tử tiêu dùng.

Khám phá Vision AI cho các thiết bị công suất thấp ở biên

STMicroelectronics là công ty hàng đầu thế giới về công nghệ bán dẫn, với hơn 50.000 nhân viên và hơn 200.000 khách hàng trên toàn thế giới. Họ thiết kế và xây dựng chip cho phép các ứng dụng từ xe điện và thiết bị công nghiệp đến thiết bị nhà thông minh và điện tử tiêu dùng.

Khi ngày càng có nhiều ngành chuyển sang AI để làm cho các thiết bị thông minh hơn và phản ứng nhanh hơn, STMicroelectronics đã tập trung vào việc đưa những khả năng đó trực tiếp lên edge. Ví dụ: vi điều khiển STM32N6 của họ, một chip mạnh mẽ, tiết kiệm năng lượng, có thể xử lý các tác vụ AI trên thiết bị như computer vision.

Để giúp các nhà phát triển xây dựng các ứng dụng thị giác nhúng trên STM32N6, STMicroelectronics đã tìm kiếm các mô hình linh hoạt, hiệu suất cao có thể chạy hiệu quả trên vi điều khiển. Các mô hình Ultralytics YOLO hóa ra lại rất phù hợp, mang đến sự kết hợp đáng tin cậy giữa tốc độ, độ chính xác và dễ tích hợp.

Những hạn chế của việc kích hoạt các hệ thống nhúng (embedded systems) hỗ trợ AI

Trước khi khái niệm Edge AI được chấp nhận rộng rãi, các mô hình thị giác máy tính thường được phát triển để chạy trên các hệ thống tập trung lớn, chẳng hạn như máy chủ đám mây hoặc GPU (Bộ xử lý đồ họa). Các nền tảng này cung cấp khả năng tính toán cần thiết để đào tạo và triển khai các mô hình lớn, nhưng chúng cũng đưa ra những hạn chế như tiêu thụ năng lượng cao, phụ thuộc vào mạng, độ trễ và tăng chi phí vận hành.

Khi sự quan tâm tăng lên trong việc triển khai các ứng dụng thời gian thực thông minh hơn trong các ngành như chăm sóc sức khỏe, điện tử tiêu dùng và thành phố thông minh, rõ ràng việc đưa quá trình xử lý AI đến gần hơn với nơi dữ liệu được tạo ra, ngay trên thiết bị, vừa là một nhu cầu kỹ thuật vừa là một cơ hội chiến lược.

Tuy nhiên, việc chạy các mô hình AI trên các vi điều khiển công suất thấp có thể là một thách thức. Các thiết bị này thường có bộ nhớ, sức mạnh tính toán và dung lượng năng lượng hạn chế, gây khó khăn cho việc triển khai các mô hình thị giác phức tạp mà không ảnh hưởng đến hiệu suất hoặc độ chính xác. 

STMicroelectronics cần xác định một bộ mô hình đủ linh hoạt để mang lại khả năng thị giác máy tính theo thời gian thực, đáng tin cậy cho vi điều khiển STM32N6 của họ, mà không yêu cầu các nhà phát triển phải đơn giản hóa đáng kể các mô hình hoặc quy trình làm việc của họ. Mục tiêu của họ là cung cấp AI trên thiết bị có ý nghĩa trong khi vẫn tuân thủ các ràng buộc nghiêm ngặt của hệ thống nhúng.

Triển khai mô hình YOLO được sắp xếp hợp lý trên vi điều khiển

Để kích hoạt AI tiên tiến trên các thiết bị nhúng công suất thấp, STMicroelectronics đã giới thiệu STM32N6, một vi điều khiển hiệu suất cao được trang bị Neural-ART Accelerator™. Đây là một Neural Processing Unit (NPU) nội bộ được xây dựng đặc biệt cho các khối lượng công việc AI biên. Công nghệ này giúp các nhà phát triển có thể chạy suy luận AI trực tiếp trên thiết bị, giảm sự phụ thuộc vào điện toán đám mây đồng thời cải thiện tốc độ, khả năng phản hồi và hiệu quả năng lượng.

STMicroelectronics hợp tác với Ultralytics để đánh giá và giới thiệu khả năng của STM32N6 bằng cách chạy các mô hình Ultralytics YOLO trên vi điều khiển. Nổi tiếng với sự cân bằng giữa tốc độ và độ chính xác, các mô hình Ultralytics YOLO rất phù hợp cho môi trường bị hạn chế về tài nguyên và triển khai nhúng.

‍

Bằng cách chạy các biến thể mô hình YOLO khác nhau trực tiếp trên STM32N6, STMicroelectronics đã có thể trình diễn một loạt các trường hợp sử dụng AI thị giác, chẳng hạn như phát hiện đối tượng, phân loại và theo dõi, tất cả đều nằm trong giới hạn về năng lượng và bộ nhớ của vi điều khiển. Sự hợp tác này cung cấp cho các nhà phát triển một tùy chọn đáng tin cậy để triển khai các hệ thống nhúng hỗ trợ AI, thời gian thực bằng cách sử dụng các mô hình thị giác có khả năng mở rộng, sẵn sàng cho sản xuất.

Tại sao nên chọn các mô hình Ultralytics YOLO?

Các mô hình Ultralytics YOLO đã cung cấp cho STMicroelectronics sự kết hợp phù hợp giữa độ chính xác, hiệu quả và tính linh hoạt cần thiết cho các hệ thống nhúng hỗ trợ AI. Các mô hình đủ nhẹ để chạy trên các vi điều khiển công suất thấp như STM32N6, nhưng đủ mạnh để mang lại hiệu suất phát hiện đối tượng và phân đoạn thể hiện theo thời gian thực.

Ví dụ: khi chạy mô hình Ultralytics YOLOv8n ở độ phân giải 256 x 256 trên STM32N6, hệ thống đạt 34 khung hình/giây với mỗi lần suy luận mất khoảng 29 mili giây. Các phép đo công suất cho thấy nó chỉ sử dụng 9,4 millijoules cho mỗi lần suy luận, khiến nó phù hợp với các tác vụ thị giác thời gian thực trên các thiết bị công suất thấp.

Với sự hỗ trợ cho nhiều biến thể mô hình YOLO, các nhà phát triển có sự linh hoạt để tinh chỉnh tốc độ, kích thước hoặc độ chính xác tùy thuộc vào các ràng buộc của ứng dụng của họ. Kiến trúc dễ tích hợp, kết hợp với sự hỗ trợ mạnh mẽ từ cộng đồng và tài liệu, đã khiến Ultralytics YOLO trở thành một lựa chọn phù hợp tự nhiên cho mục tiêu của STMicroelectronics là đẩy nhanh việc áp dụng AI thị giác trên một loạt các trường hợp sử dụng nhúng.

Thông qua giấy phép Ultralytics Enterprise, STMicroelectronics cung cấp cho khách hàng quyền truy cập vào bộ đầy đủ các mô hình YOLO để thử nghiệm và phát triển nội bộ. Tuy nhiên, đối với bất kỳ triển khai thương mại nào, khách hàng phải yêu cầu giấy phép thương mại của riêng họ trực tiếp từ Ultralytics thông qua mẫu giấy phép. Điều này đảm bảo tuân thủ và hỗ trợ một lộ trình có thể mở rộng cho các giải pháp Vision AI sẵn sàng sản xuất.

Từ thành phố thông minh đến chăm sóc sức khỏe: Ứng dụng AI biên (edge AI) có khả năng mở rộng

Khả năng chạy trực tiếp các mô hình Ultralytics YOLO trên vi điều khiển STM32N6 đã mở ra một loạt các ứng dụng Vision AI cho STMicroelectronics và hệ sinh thái nhà phát triển của họ. Bằng cách cung cấp khả năng suy luận nhanh chóng, chính xác trên thiết bị mà không cần dựa vào xử lý bên ngoài hoặc kết nối đám mây, giải pháp này giúp triển khai các tính năng thông minh trong các hệ thống nhỏ gọn, tiêu thụ điện năng thấp.

Khách hàng đang khám phá các trường hợp sử dụng trong các lĩnh vực như phát hiện người đi bộ và phương tiện theo thời gian thực trong cơ sở hạ tầng thành phố thông minh, kiểm tra an toàn trên thiết bị và kiểm soát chất lượng trong tự động hóa công nghiệp, và chẩn đoán có sự hỗ trợ của AI trong các công cụ chăm sóc sức khỏe di động. Tương tự, trong lĩnh vực điện tử tiêu dùng, các mô hình YOLO cho phép các tính năng phản hồi nhanh như phát hiện sự hiện diện, nhận dạng cử chỉ và theo dõi đối tượng - tất cả đều nằm trong giới hạn hiệu suất của các thiết bị chạy bằng pin.

‍

Xây dựng các giải pháp Vision AI của ngày mai ngay hôm nay

Khi AI tiếp tục phát triển, STMicroelectronics tập trung vào việc giúp bạn dễ dàng mang các giải pháp mạnh mẽ, hiệu quả đến các thiết bị biên. Bằng cách hợp tác chặt chẽ với các đối tác như Ultralytics, họ đang giúp các nhà phát triển bắt đầu nhanh hơn với các mô hình, công cụ và tài nguyên tương thích với STM32 sẵn sàng sử dụng. 

Thực hiện bước tiến tiếp theo trong đổi mới AI biên. Truy cập kho lưu trữ GitHub của chúng tôi để khám phá cách các mô hình Ultralytics YOLO đang chuyển đổi thị giác nhúng. Khám phá các ứng dụng của AI trong lĩnh vực chăm sóc sức khỏe và thị giác máy tính trong bán lẻ, đồng thời xem các tùy chọn cấp phép của chúng tôi ngay hôm nay!