Edge AI

Edge AI đề cập đến việc triển khai các thuật toán và model trí tuệ nhân tạo (AI) trực tiếp trên các thiết bị phần cứng cục bộ—như điện thoại thông minh, cảm biến IoT, máydrone và xe cộ kết nối—thay vì phụ thuộc vào các trung tâm điện toán đám mây tập trung. Cách tiếp cận phi tập trung này cho phép dữ liệu được xử lý ngay tại nguồn phát sinh, giúp giảm đáng kể độ trễ khi truyền thông tin qua lại với các máy chủ từ xa. Bằng cách thực thi các tác vụ học máy (ML) cục bộ, các thiết bị có thể đưa ra quyết định tức thì, hoạt động đáng tin cậy khi không có kết nối internet và nâng cao bảo mật dữ liệu bằng cách lưu giữ thông tin nhạy cảm ngay trên thiết bị.

Cách thức Edge AI hoạt động#

Cốt lõi của Edge AI liên quan đến việc chạy một công cụ suy luận trên hệ thống nhúng. Do các thiết bị biên thường có thời lượng pin và năng lực tính toán hạn chế so với máy chủ đám mây, các model AI phải có hiệu suất cực kỳ cao. Các lập trình viên thường áp dụng các kỹ thuật như lượng tử hóa model hoặc cắt tỉa model để nén các mạng thần kinh lớn mà không làm giảm đáng kể độ chính xác.

Các bộ tăng tốc phần cứng chuyên dụng thường được sử dụng để xử lý hiệu quả các khối lượng công việc này. Ví dụ bao gồm nền tảng NVIDIA Jetson dành cho robot và Google Coral Edge TPU dành cho suy luận công suất thấp. Các framework phần mềm cũng đóng vai trò thiết yếu; các công cụ như TensorRT và TFLite tối ưu hóa các model dành riêng cho các môi trường bị giới hạn này, đảm bảo suy luận thời gian thực diễn ra nhanh chóng.

Edge AI so với Edge Computing#

Mặc dù các thuật ngữ này thường được sử dụng thay thế cho nhau, nhưng việc phân biệt giữa chúng là rất hữu ích:

• Điện toán biên: Điều này mô tả cơ sở hạ tầng vật lý và cấu trúc mạng rộng hơn, nơi việc xử lý dữ liệu diễn ra gần nguồn dữ liệu. Đây là yếu tố "ở đâu" trong phương trình.
• Edge AI: Điều này đề cập cụ thể đến các ứng dụng thông minh chạy trên cơ sở hạ tầng đó. Đây là yếu tố "cái gì". Ví dụ, một camera an ninh đóng vai trò là một thiết bị điện toán biên, nhưng khi nó sử dụng thị giác máy tính (CV) để nhận diện một người cụ thể, nó đang thực hiện Edge AI.

Các ứng dụng trong thực tế#

Edge AI đang biến đổi các ngành công nghiệp bằng cách cho phép đưa ra quyết định tự động trong các tình huống quan trọng:

• Xe tự hành: Ô tô tự lái tạo ra lượng dữ liệu terabyte mỗi ngày. Chúng không thể dựa vào đám mây để nhận diện người đi bộ hoặc chướng ngại vật do độ trễ tín hiệu. Thay vào đó, chúng sử dụng Edge AI tích hợp trên xe để phát hiện đối tượng tức thì nhằm đảm bảo an toàn cho hành khách.
• Sản xuất thông minh: Trong IoT công nghiệp (IIoT), các cảm biến trên sàn nhà máy sử dụng Edge AI để bảo trì dự đoán. Bằng cách phân tích dữ liệu rung động và nhiệt độ cục bộ, hệ thống có thể phát hiện các điểm bất thường và dự đoán hỏng hóc thiết bị trong thời gian thực, ngăn chặn thời gian chết tốn kém.
• Y tế: Các thiết bị y tế di động được trang bị Vision AI có thể phân tích hình ảnh y tế hoặc các chỉ số sinh tồn của bệnh nhân trực tiếp tại điểm chăm sóc, cung cấp hỗ trợ chẩn đoán tức thì ở những vùng sâu vùng xa có kết nối kém.

Triển khai Model lên Edge#

Việc triển khai một model ra biên thường bao gồm việc huấn luyện model trong môi trường có năng lực tính toán cao, sau đó xuất ra định dạng tương thích với các thiết bị biên, chẳng hạn như ONNX hoặc OpenVINO. Ultralytics Platform đơn giản hóa quy trình làm việc này, cho phép người dùng huấn luyện và tự động xuất các model cho nhiều mục tiêu biên khác nhau.

Ví dụ sau đây minh họa cách xuất một model YOLO26 nhẹ—được thiết kế đặc biệt cho hiệu suất—sang định dạng phù hợp cho việc triển khai trên thiết bị di động và thiết bị biên.

from ultralytics import YOLO

# Load the YOLO26 Nano model, which is optimized for speed on edge devices
model = YOLO("yolo26n.pt")

# Export the model to TFLite format for deployment on Android or Raspberry Pi
# This creates a 'yolo26n.tflite' file ready for edge inference
model.export(format="tflite")

Các bản triển khai biên nâng cao thường sử dụng các công nghệ đóng gói vùng chứa như Docker để đóng gói các ứng dụng, đảm bảo chúng chạy ổn định trên các kiến trúc thiết bị khác nhau, từ các bo mạch Raspberry Pi đến các cổng công nghiệp.