Edge AI
Khám phá Edge AI và tìm hiểu cách triển khai Ultralytics YOLO26 trên hardware cục bộ để inference theo thời gian thực, giảm latency và tăng cường data privacy ở edge.
Edge AI đề cập đến việc triển khai các thuật toán và model trí tuệ nhân tạo (AI) trực tiếp trên các thiết bị phần cứng cục bộ—chẳng hạn như smartphone, cảm biến IoT, drone và phương tiện kết nối—thay vì phụ thuộc vào các trung tâm điện toán đám mây tập trung. Cách tiếp cận phi tập trung này cho phép xử lý dữ liệu ngay tại nguồn tạo ra dữ liệu, giúp giảm đáng kể độ trễ phát sinh khi gửi thông tin qua lại đến các server từ xa. Bằng cách thực thi các tác vụ [machine learning (ML)](https://ultralytics-translation-2.invalid cục bộ, thiết bị có thể đưa ra quyết định tức thời, hoạt động tin cậy mà không cần kết nối Internet và tăng cường quyền riêng tư dữ liệu bằng cách lưu giữ thông tin nhạy cảm ngay trên thiết bị.
Cách Edge AI hoạt động#
Cốt lõi của Edge AI là chạy một inference engine trên một hệ thống nhúng. Vì các thiết bị edge thường có thời lượng pin và năng lực tính toán hạn chế hơn so với server đám mây, các model AI phải có hiệu suất rất cao. Các developer thường sử dụng những kỹ thuật như lượng tử hóa model hoặc pruning model để nén các mạng neural lớn mà không làm giảm đáng kể độ chính xác.
Các bộ tăng tốc phần cứng chuyên dụng thường được sử dụng để xử lý hiệu quả những workload này. Ví dụ gồm nền tảng NVIDIA Jetson cho robotics và Google Coral Edge TPU cho inference công suất thấp. Các framework phần mềm cũng đóng vai trò quan trọng; những công cụ như TensorRT và TFLite tối ưu hóa model dành riêng cho các môi trường có tài nguyên hạn chế này, bảo đảm inference thời gian thực nhanh chóng.
Edge AI và Edge Computing#
Mặc dù các thuật ngữ này thường được sử dụng thay thế cho nhau, việc phân biệt chúng là rất hữu ích:
- Edge Computing: Thuật ngữ này mô tả cơ sở hạ tầng vật lý và topology mạng rộng hơn, nơi quá trình xử lý dữ liệu diễn ra gần nguồn dữ liệu. Đây là phần “ở đâu” của bài toán.
- Edge AI: Thuật ngữ này đề cập cụ thể đến các ứng dụng thông minh chạy trên cơ sở hạ tầng đó. Đây là phần “làm gì”. Ví dụ, một camera an ninh hoạt động như một thiết bị edge computing, nhưng khi sử dụng thị giác máy tính (CV) để nhận dạng một người cụ thể, nó đang thực hiện Edge AI.
Các ứng dụng trong thực tế#
Edge AI đang chuyển đổi các ngành công nghiệp bằng cách cho phép ra quyết định tự động trong những tình huống quan trọng:
- Phương tiện tự hành: Xe tự lái tạo ra hàng terabyte dữ liệu mỗi ngày. Chúng không thể phụ thuộc vào đám mây để nhận diện người đi bộ hoặc chướng ngại vật do độ trễ tín hiệu. Thay vào đó, chúng sử dụng Edge AI tích hợp trên xe để thực hiện phát hiện đối tượng tức thời, bảo đảm an toàn cho hành khách.
- Sản xuất thông minh: Trong IoT công nghiệp (IIoT), các cảm biến trên sàn nhà máy sử dụng Edge AI để bảo trì dự đoán. Bằng cách phân tích dữ liệu rung động và nhiệt độ cục bộ, hệ thống có thể phát hiện điểm bất thường và dự đoán lỗi thiết bị theo thời gian thực, ngăn chặn thời gian ngừng hoạt động tốn kém.
- Chăm sóc sức khỏe: Các thiết bị y tế di động được trang bị Vision AI có thể phân tích hình ảnh y tế hoặc các chỉ số sinh tồn của bệnh nhân trực tiếp tại điểm chăm sóc, cung cấp hỗ trợ chẩn đoán tức thời ở những khu vực xa xôi có kết nối kém.
Triển khai model lên biên#
Việc triển khai một model lên edge thường bao gồm đào tạo model trong môi trường có năng lực tính toán cao, sau đó xuất model sang định dạng tương thích với các thiết bị edge, chẳng hạn như ONNX hoặc OpenVINO. Ultralytics Platform đơn giản hóa quy trình này, cho phép người dùng đào tạo và tự động xuất model cho nhiều đích edge khác nhau.
Ví dụ sau đây minh họa cách xuất một model YOLO26 nhẹ—được thiết kế đặc biệt để đạt hiệu suất cao—sang định dạng phù hợp cho việc triển khai trên thiết bị di động và edge.
from ultralytics import YOLO
# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")
# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")Các hoạt động triển khai edge nâng cao thường sử dụng những công nghệ container hóa như Docker để đóng gói ứng dụng, bảo đảm ứng dụng chạy nhất quán trên các kiến trúc thiết bị khác nhau, từ các thiết bị Raspberry Pi đến các gateway công nghiệp.
