Edge AI

Edge AI đề cập đến việc triển khai các thuật toán và mô hình trí tuệ nhân tạo (AI) trực tiếp trên các thiết bị phần cứng cục bộ—chẳng hạn như điện thoại thông minh, cảm biến IoT, thiết bị bay không người lái (drones) và các phương tiện kết nối—thay vì dựa vào các trung tâm điện toán đám mây tập trung. Cách tiếp cận phi tập trung này cho phép dữ liệu được xử lý ngay tại nguồn tạo ra nó, giúp giảm đáng kể độ trễ khi truyền thông tin qua lại giữa các máy chủ từ xa. Bằng cách thực thi các tác vụ học máy (ML) cục bộ, các thiết bị có thể đưa ra quyết định tức thì, hoạt động ổn định mà không cần kết nối internet và tăng cường quyền riêng tư dữ liệu bằng cách giữ thông tin nhạy cảm ngay trên thiết bị.

Link to this sectionCách thức Edge AI hoạt động#

Cốt lõi của Edge AI bao gồm việc chạy một inference engine trên một hệ thống nhúng. Vì các thiết bị biên thường có dung lượng pin và sức mạnh tính toán hạn chế so với máy chủ đám mây, các mô hình AI phải có hiệu suất cực cao. Các nhà phát triển thường sử dụng các kỹ thuật như lượng tử hóa mô hình hoặc cắt tỉa mô hình để nén các mạng thần kinh lớn mà không làm giảm đáng kể độ chính xác.

Các bộ tăng tốc phần cứng chuyên dụng thường được sử dụng để xử lý các khối lượng công việc này một cách hiệu quả. Ví dụ bao gồm nền tảng NVIDIA Jetson cho robot và Google Coral Edge TPU cho suy luận công suất thấp. Các framework phần mềm cũng đóng vai trò quan trọng; các công cụ như TensorRT và TFLite tối ưu hóa các mô hình dành riêng cho các môi trường hạn chế này, đảm bảo suy luận thời gian thực nhanh chóng.

Link to this sectionEdge AI so với Edge Computing#

Mặc dù các thuật ngữ này thường được sử dụng thay thế cho nhau, nhưng việc phân biệt giữa chúng là rất hữu ích:

• Edge Computing: Thuật ngữ này mô tả cơ sở hạ tầng vật lý và cấu trúc liên kết mạng rộng hơn, nơi quá trình xử lý dữ liệu diễn ra gần nguồn dữ liệu. Đây là câu trả lời cho câu hỏi "ở đâu".
• Edge AI: Thuật ngữ này đề cập cụ thể đến các ứng dụng thông minh chạy trên cơ sở hạ tầng đó. Đây là câu trả lời cho câu hỏi "cái gì". Ví dụ, một camera an ninh đóng vai trò là một thiết bị edge computing, nhưng khi nó sử dụng thị giác máy tính (CV) để nhận diện một người cụ thể, nó đang thực hiện Edge AI.

Link to this sectionCác ứng dụng trong thực tế#

Edge AI đang biến đổi các ngành công nghiệp bằng cách cho phép đưa ra quyết định tự động trong các tình huống quan trọng:

• Xe tự lái: Xe tự lái tạo ra hàng terabyte dữ liệu mỗi ngày. Chúng không thể dựa vào đám mây để nhận diện người đi bộ hoặc chướng ngại vật do độ trễ tín hiệu. Thay vào đó, chúng sử dụng Edge AI tích hợp sẵn để thực hiện phát hiện đối tượng tức thì nhằm đảm bảo an toàn cho hành khách.
• Sản xuất thông minh: Trong Industrial IoT (IIoT), các cảm biến trên sàn nhà máy sử dụng Edge AI để bảo trì dự đoán. Bằng cách phân tích dữ liệu rung động và nhiệt độ tại chỗ, hệ thống có thể phát hiện các điểm bất thường và dự đoán lỗi thiết bị theo thời gian thực, ngăn ngừa thời gian ngừng hoạt động tốn kém.
• Chăm sóc sức khỏe: Các thiết bị y tế di động được trang bị Vision AI có thể phân tích hình ảnh y tế hoặc các chỉ số sinh tồn của bệnh nhân ngay tại điểm chăm sóc, cung cấp hỗ trợ chẩn đoán tức thì ở những vùng sâu vùng xa nơi có kết nối internet kém.

Link to this sectionTriển khai Model lên Edge#

Việc triển khai một mô hình ra môi trường biên thường bao gồm việc huấn luyện mô hình trong một môi trường tính toán hiệu năng cao, sau đó xuất ra định dạng tương thích với các thiết bị biên, chẳng hạn như ONNX hoặc OpenVINO. Ultralytics Platform đơn giản hóa quy trình công việc này, cho phép người dùng huấn luyện và tự động xuất các mô hình cho nhiều mục tiêu biên khác nhau.

The following example demonstrates how to export a lightweight YOLO26 model—specifically designed for efficiency—to a format suitable for mobile and edge deployment.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Advanced edge deployments often utilize containerization technologies like Docker to package applications, ensuring they run consistently across different device architectures, from Raspberry Pi units to industrial gateways.