TinyML
Khám phá TinyML và tìm hiểu cách triển khai Ultralytics YOLO26 trên các vi điều khiển công suất thấp. Tìm hiểu cách tối ưu model cho IoT bằng quantization và Ultralytics Platform.
Học máy siêu nhỏ, thường được gọi là TinyML, là một phân ngành chuyên biệt của học máy, tập trung vào việc triển khai model trên các thiết bị có mức tiêu thụ điện năng cực thấp và tài nguyên hạn chế, chẳng hạn như vi điều khiển và các thiết bị IoT nhỏ. Không giống các hệ thống truyền thống dựa trên đám mây, vốn phụ thuộc vào nguồn tài nguyên tính toán khổng lồ, TinyML vận hành hoàn toàn tại edge. Bằng cách chạy các thuật toán thông minh cục bộ trên những thiết bị có giới hạn về năng lượng, thường chỉ được đo bằng vài miliwatt, phương pháp này giảm thiểu độ trễ, đảm bảo quyền riêng tư dữ liệu và giảm đáng kể mức sử dụng băng thông; đây là một mô hình được các cộng đồng như TinyML Foundation hỗ trợ và thúc đẩy.
Để đưa thành công các kiến trúc neural network phức tạp lên phần cứng có mức hạn chế cao như bộ xử lý ARM Cortex-M, model phải trải qua quá trình tối ưu hóa nghiêm ngặt. Các kỹ thuật như lượng tử hóa model—chuyển đổi trọng số dấu phẩy động 32-bit thành số nguyên 8-bit—và pruning model được sử dụng để giảm đáng kể footprint bộ nhớ tổng thể. Hiện nay, các framework chuyên dụng như TensorFlow Lite cho vi điều khiển của Google và ExecuTorch của PyTorch hỗ trợ các quy trình nén chính xác này, đưa khả năng thông minh tiên tiến về thị giác và thính giác lên phần cứng nhúng phổ biến.
TinyML và Edge AI#
Mặc dù TinyML có mối liên hệ chặt chẽ với Edge AI, điểm khác biệt chính nằm ở quy mô phần cứng và ngân sách năng lượng. Edge AI là một thuật ngữ rộng hơn, bao quát mọi hình thức thực thi model AI cục bộ, thường sử dụng các máy tính bo mạch đơn như Raspberry Pi hoặc GPU nhúng mạnh như NVIDIA Jetson. Ngược lại, TinyML nhắm cụ thể đến các hệ thống nhúng sâu hoạt động bằng pin trong nhiều tháng hoặc nhiều năm, chẳng hạn như các bo mạch Arduino hoặc chip STMicroelectronics. Các thiết bị này thường chỉ có vài trăm kilobyte RAM, khiến việc nén model mạnh trở thành yêu cầu bắt buộc.
Các ứng dụng trong thực tế#
Khả năng triển khai trí thông minh trực tiếp trên phần cứng tối giản đã mở ra nhiều trường hợp sử dụng thực tế trong các ngành khác nhau:
- Bảo trì dự đoán trong sản xuất thông minh: Các nhà máy triển khai cảm biến rung và âm thanh có mức tiêu thụ điện năng cực thấp trực tiếp lên máy móc. Những cảm biến TinyML này liên tục phân tích tần số của động cơ để phát hiện các bất thường nhỏ cho thấy sự cố sắp xảy ra, giúp đội ngũ bảo trì xử lý vấn đề trước khi phát sinh thời gian ngừng hoạt động tốn kém.
- Nông nghiệp chính xác thông minh: Các thiết bị TinyML vận hành bằng pin được phân bổ trên những cánh đồng rộng lớn để theo dõi điều kiện môi trường cục bộ và phát hiện sớm dấu hiệu nhiễm sâu bệnh hoặc dịch bệnh bằng các module camera cơ bản, chỉ truyền các cảnh báo nhẹ thay vì các tệp hình ảnh lớn.
- Giám sát âm thanh phục vụ bảo tồn động vật hoang dã: Các nhà nghiên cứu sử dụng mảng cảm biến âm thanh được giấu kín và vận hành bằng TinyML để phát hiện âm thanh đặc trưng của các loài có nguy cơ tuyệt chủng hoặc hoạt động khai thác gỗ trái phép (chẳng hạn như cưa máy) trong những khu rừng rậm. Hoạt động bằng năng lượng mặt trời hoặc pin, các thiết bị này phân tích âm thanh cục bộ và ngay lập tức kích hoạt cảnh báo tầm xa.
Xuất Model cho TinyML#
Việc chuẩn bị model cho một vi điều khiển đòi hỏi định dạng xuất nghiêm ngặt. Bằng cách sử dụng Ultralytics YOLO26, các developer có thể xây dựng các pipeline phát hiện đối tượng mạnh mẽ và nén chúng cho các target nhúng. Bạn có thể quản lý liền mạch dataset và việc versioning model trên Ultralytics Platform trước khi xuất cục bộ. Tích hợp TFLite nguyên bản cho phép dễ dàng chuyển đổi sang các định dạng số nguyên 8-bit cần thiết cho vi điều khiển, bổ trợ cho các tùy chọn triển khai model chuyên biệt theo phần cứng khác như CoreML của Apple, Edge TPU của Google và TensorRT của NVIDIA.
Ví dụ sau minh họa cách xuất một model Ultralytics YOLO26 nhẹ, được tối ưu cụ thể với lượng tử hóa INT8, giúp model phù hợp để triển khai trên các nền tảng edge tương thích với TinyML:
from ultralytics import YOLO
# Initialize the lightweight YOLO26 Nano model for edge use cases
model = YOLO("yolo26n.pt")
# Export to TFLite format with INT8 quantization and a reduced image size
# This minimizes the memory footprint and accelerates inference on microcontrollers
model.export(format="tflite", int8=True, imgsz=160)
