Edge AI
Edge AI chạy model trên điện thoại, camera, phương tiện và robot thay vì trên cloud, giúp giảm độ trễ và giữ dữ liệu tại chỗ. Cách hoạt động, phần cứng và ứng dụng.
AI biên là phương thức chạy các model trí tuệ nhân tạo (AI) ngay trên hoặc gần các thiết bị tạo ra dữ liệu, chẳng hạn điện thoại, camera, phương tiện, robot và cổng kết nối nhà máy, thay vì gửi dữ liệu đến trung tâm dữ liệu ở xa. Xử lý khung hình camera hoặc đoạn âm thanh ngay tại nơi ghi nhận giúp loại bỏ thời gian khứ hồi qua mạng, để quyết định được đưa ra trong vài mili giây. Thiết bị tiếp tục hoạt động khi mất kết nối, dữ liệu đầu vào nhạy cảm được giữ cục bộ để bảo vệ quyền riêng tư dữ liệu, và không cần truyền video thô lên đám mây, nhờ đó tiết kiệm băng thông. Đổi lại, thiết bị có ngân sách bộ nhớ, năng lực tính toán và điện năng hạn chế, đồng thời cần xử lý việc cập nhật model trên toàn bộ đội thiết bị.
Cách AI biên hoạt động#
Model thường được huấn luyện trên đám mây bằng GPU, sau đó được thu nhỏ và tăng tốc để phù hợp với thiết bị đích. Lượng tử hóa model sang FP16 hoặc INT8, tỉa model và chưng cất tri thức giúp thu gọn model; xuất model chuyển model sang định dạng mà engine suy luận trên thiết bị có thể chạy, chẳng hạn TensorRT trên phần cứng NVIDIA, LiteRT trên Android, Core ML trên thiết bị Apple hoặc NCNN trên CPU ARM. Sau đó, thiết bị chạy suy luận cục bộ và chỉ gửi lên những thông tin cần thiết như cảnh báo, số lượng hoặc một clip ngắn. Dữ liệu tải lên cũng góp phần vào vòng lặp cải thiện: các ví dụ khó thu thập từ thực tế được gán nhãn, model được huấn luyện lại, rồi phiên bản mới được gửi đến các thiết bị qua mạng.
Phần cứng AI biên#
- Bộ xử lý nơ-ron (NPU): Các bộ tăng tốc chuyên dụng được tích hợp trong hầu hết chip điện thoại và laptop hiện nay, chẳng hạn Neural Engine của Apple và NPU Hexagon của Qualcomm; chúng chạy model đã lượng tử hóa trong giới hạn điện năng của điện thoại.
- NVIDIA Jetson: Các module nhúng kết hợp CPU ARM với GPU NVIDIA dành cho robot, drone và camera thông minh cần thông lượng cấp GPU.
- Raspberry Pi: Máy tính bo mạch đơn giá rẻ, có thể chạy model nhỏ trên CPU ARM hoặc trên các bo mạch tăng tốc bổ sung.
- Vi điều khiển: Phân khúc nhỏ nhất, nơi các model chỉ vài trăm kilobyte chạy với công suất ở mức miliwatt.
Triển khai model ở biên#
Mỗi loại thiết bị phù hợp với một định dạng xuất model khác nhau. Trên Raspberry Pi, NCNN là định dạng nhanh nhất trong số các định dạng mà Ultralytics benchmark cho Ultralytics YOLO26; chỉ cần xuất model một lần rồi tải thư mục đã xuất là có thể chạy cùng một detector bằng engine đó:
from ultralytics import YOLO
# Tải model phát hiện YOLO26 nhỏ nhất
model = YOLO("yolo26n.pt")
# Xuất sang NCNN, một framework suy luận được tối ưu cho CPU ARM
path = model.export(format="ncnn") # creates 'yolo26n_ncnn_model/'
# Chạy suy luận bằng model đã xuất, như khi dùng trên thiết bị
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")Ảnh đã lưu hiển thị các kết quả phát hiện được tính bằng engine NCNN. Các ứng dụng trên thiết bị thường được đóng gói trong container Docker để cùng một image có thể chạy trên cả nhóm bo mạch giống nhau.
AI biên và các thuật ngữ liên quan#
- Điện toán biên: Phương thức rộng hơn, bao gồm xử lý mọi loại dữ liệu gần nguồn phát sinh, từ lọc số đo cảm biến đến lưu nội dung trong bộ nhớ đệm. AI biên là điện toán biên có khối lượng công việc là một model machine learning.
- TinyML: Phân khúc nhỏ nhất của AI biên, chạy trên vi điều khiển có bộ nhớ chỉ vài kilobyte.
- Học liên kết: Huấn luyện một model dùng chung trên nhiều thiết bị bằng cách gửi các cập nhật trọng số thay vì dữ liệu thô. AI biên thường nói đến suy luận, còn học liên kết đưa quá trình huấn luyện đến cùng các thiết bị đó.
Ứng dụng của AI biên#
- Phương tiện tự hành: Ô tô và robot giao hàng phát hiện người đi bộ, phương tiện và làn đường ngay trên thiết bị, vì không thể để tình trạng kết nối chậm hoặc mất kết nối làm chậm quá trình phanh.
- Camera thông minh: Camera bán lẻ, giao thông và an ninh chạy phát hiện vật thể cục bộ, chỉ gửi số lượng hoặc cảnh báo thay vì video liên tục.
- Kiểm tra công nghiệp: Camera trên dây chuyền sản xuất loại bỏ linh kiện lỗi trong vài mili giây; cảm biến rung trên máy phát hiện bất thường trước khi chúng gây thời gian ngừng hoạt động.
- Điện thoại thông minh: Điện thoại xử lý ảnh, chuyển lời nói thành văn bản và chạy các model ngôn ngữ nhỏ ngay trên thiết bị, chẳng hạn model khoảng 3 tỷ tham số mà Apple Intelligence chạy trên thiết bị Apple và các ứng dụng truy cập thông qua framework Foundation Models của Apple.
