AI cạnh

Edge AI hoạt động như thế nào

Quá trình này thường bao gồm việc đào tạo một mô hình AI, thường sử dụng các tài nguyên đám mây mạnh mẽ hoặc máy chủ cục bộ. Sau khi được đào tạo, mô hình sẽ trải qua các kỹ thuật tối ưu hóa như lượng tử hóa mô hình hoặc cắt tỉa mô hình để giảm kích thước và yêu cầu tính toán của nó. Việc tối ưu hóa này rất quan trọng để chạy các mô hình hiệu quả trên các thiết bị biên bị hạn chế về tài nguyên, thường có công suất xử lý hạn chế ( CPU / GPU ), bộ nhớ và thời lượng pin. Sau đó, mô hình được tối ưu hóa sẽ được triển khai trên thiết bị biên bằng các khuôn khổ như TensorFlow Lite , PyTorch Mobile , ONNX Runtime hoặc các SDK chuyên dụng như OpenVINO của Intel . Sau đó, thiết bị có thể thực hiện suy luận thời gian thực bằng các cảm biến cục bộ (ví dụ: camera, micrô) để xử lý dữ liệu và tạo thông tin chi tiết hoặc hành động mà không cần kết nối internet liên tục. Việc quản lý các triển khai này có thể được sắp xếp hợp lý bằng các nền tảng như Ultralytics HUB .

AI biên so với AI đám mây

Sự khác biệt chính nằm ở nơi diễn ra quá trình tính toán AI. Cloud AI xử lý dữ liệu trên các máy chủ tập trung, cung cấp các tài nguyên tính toán khổng lồ phù hợp với các mô hình phức tạp và dữ liệu đào tạo quy mô lớn. Tuy nhiên, nó gây ra độ trễ do truyền dữ liệu và yêu cầu kết nối internet đáng tin cậy. Ngược lại, Edge AI xử lý dữ liệu cục bộ trên thiết bị. Điều này giảm thiểu độ trễ, tăng cường quyền riêng tư của dữ liệu vì thông tin nhạy cảm không cần phải rời khỏi thiết bị và cho phép hoạt động trong môi trường ngoại tuyến hoặc băng thông thấp. Đánh đổi là các thiết bị biên có tài nguyên hạn chế, hạn chế tính phức tạp của các mô hình có thể triển khai. Đọc thêm về Edge AI so với Cloud AI .

Mối quan hệ với điện toán biên

Edge AI là một ứng dụng cụ thể trong lĩnh vực rộng hơn của điện toán biên . Điện toán biên đề cập đến mô hình chung về việc chuyển các tác vụ tính toán ra khỏi các trung tâm dữ liệu tập trung sang "biên" của mạng, gần hơn với người dùng và nguồn dữ liệu. Edge AI áp dụng cụ thể khái niệm này cho khối lượng công việc AI và ML, cho phép xử lý thông minh trực tiếp trên các thiết bị biên. Trong khi điện toán biên có thể liên quan đến nhiều loại xử lý khác nhau, Edge AI tập trung vào việc triển khai và chạy các mô hình AI cục bộ. Bạn có thể tìm hiểu thêm về điện toán biên tại đây .

Lợi ích của Edge AI

• Độ trễ thấp: Cho phép phản hồi gần như tức thời, rất quan trọng đối với các ứng dụng như xe tự hành và hệ thống điều khiển thời gian thực.
• Quyền riêng tư và bảo mật được cải thiện: Xử lý dữ liệu cục bộ giúp giảm rủi ro liên quan đến việc truyền thông tin nhạy cảm qua mạng. Ultralytics ưu tiên AI có trách nhiệm .
• Độ tin cậy được cải thiện: Các ứng dụng có thể hoạt động đáng tin cậy ngay cả khi kết nối internet không ổn định hoặc không có kết nối internet.
• Hiệu quả băng thông: Giảm đáng kể lượng dữ liệu cần gửi lên đám mây, giúp giảm chi phí băng thông.
• Ra quyết định theo thời gian thực: Tạo điều kiện cho các hành động ngay lập tức dựa trên phân tích dữ liệu cục bộ, điều cần thiết cho môi trường năng động. Đây là chìa khóa cho sức mạnh AI theo thời gian thực .

Ứng dụng và Ví dụ

Edge AI đang chuyển đổi nhiều ngành công nghiệp, đặc biệt là trong lĩnh vực thị giác máy tính (CV) . Nhu cầu ngày càng tăng được phản ánh trong quy mô thị trường Edge AI đang phát triển.

1. Camera an ninh thông minh: Camera được trang bị các mẫu như Ultralytics YOLO11 có thể thực hiện phát hiện vật thể trên thiết bị để xác định người, phương tiện hoặc các sự kiện cụ thể theo thời gian thực mà không cần liên tục truyền phát video lên đám mây. Điều này cho phép cảnh báo nhanh hơn và giảm bớt lo ngại về quyền riêng tư. Xem cách AI cải thiện camera an ninh .
2. Hệ thống tự động: Xe tự lái và máy bay không người lái phụ thuộc rất nhiều vào Edge AI để xử lý dữ liệu cảm biến (camera, LiDAR) tại chỗ để điều hướng ngay lập tức, tránh chướng ngại vật và đưa ra quyết định kiểm soát, điều này rất quan trọng đối với sự an toàn. Các nền tảng như NVIDIA Jetson thường được sử dụng cho mục đích này.
3. Tự động hóa công nghiệp: Trong sản xuất , Edge AI hỗ trợ kiểm tra chất lượng theo thời gian thực trên dây chuyền sản xuất, cảnh báo bảo trì dự đoán cho máy móc và tự động hóa bằng rô-bốt bằng cách phân tích dữ liệu cảm biến trực tiếp trên sàn nhà máy.
4. Chăm sóc sức khỏe: Các thiết bị đeo được và màn hình theo dõi tại giường sử dụng Edge AI để theo dõi sức khỏe bệnh nhân theo thời gian thực, phát hiện té ngã ( ước tính tư thế ) và phân tích hình ảnh y tế sơ bộ trước khi liên hệ với các chuyên gia.
5. Bán lẻ thông minh: Edge AI cho phép áp dụng các ứng dụng như hệ thống thanh toán tự động, quản lý hàng tồn kho theo thời gian thực và phân tích hành vi khách hàng trực tiếp trong các cửa hàng.

Những thách thức của Edge AI

Bất chấp những lợi ích của nó, Edge AI phải đối mặt với những thách thức bao gồm các nguồn tài nguyên tính toán hạn chế ( tác động đến sức mạnh tính toán ) của các thiết bị biên, nhu cầu về các mô hình được tối ưu hóa cao ( như hiệu quả của YOLOv9 ), quản lý việc triển khai và cập nhật mô hình trên nhiều thiết bị phân tán (thường sử dụng các công cụ như Docker ) và đảm bảo hiệu suất mô hình trong các điều kiện thực tế khác nhau. Phần cứng chuyên dụng như Google Edge TPU và các cảm biến như Sony IMX500 giúp giải quyết một số hạn chế về phần cứng này. Các khuôn khổ như NVIDIA TensorRT cũng hỗ trợ tối ưu hóa.

Edge AI đại diện cho sự thay đổi đáng kể trong cách cung cấp khả năng AI, chuyển trí thông minh từ đám mây tập trung sang các thiết bị cục bộ. Điều này cho phép tạo ra thế hệ ứng dụng AI phản hồi, riêng tư và đáng tin cậy mới có thể hoạt động hiệu quả ở rìa mạng, tác động đến mọi thứ từ thiết bị điện tử tiêu dùng đến các hệ thống công nghiệp quan trọng.