AI cạnh

Edge AI là một mô hình điện toán phi tập trung, trong đó các thuật toán trí tuệ nhân tạo (AI) và học máy (ML) được xử lý cục bộ trên thiết bị phần cứng, gần với nguồn tạo dữ liệu. Thay vì gửi dữ liệu đến máy chủ đám mây tập trung để xử lý, Edge AI thực hiện suy luận trực tiếp trên chính thiết bị. Phương pháp này giảm đáng kể độ trễ, tăng cường quyền riêng tư dữ liệu và giảm yêu cầu băng thông, lý tưởng cho các ứng dụng cần kết quả ngay lập tức và phải hoạt động với kết nối internet không ổn định hoặc không có kết nối internet. Sự phát triển của thị trường Edge AI phản ánh sự gia tăng ứng dụng của nó trong nhiều ngành công nghiệp.

Edge AI hoạt động như thế nào

Trong quy trình làm việc AI biên điển hình, dữ liệu được thu thập bởi một cảm biến, chẳng hạn như camera hoặc micrô, trên một thiết bị vật lý. Dữ liệu này sau đó được đưa trực tiếp vào một mô hình ML đã được đào tạo trước, tối ưu hóa, chạy trên bộ xử lý cục bộ của thiết bị. Bộ xử lý, thường là một bộ tăng tốc AI chuyên dụng hoặc Hệ thống trên một con chip (SoC), thực thi mô hình để tạo ra đầu ra, chẳng hạn như nhận dạng một đối tượng hoặc nhận dạng lệnh. Toàn bộ quá trình này diễn ra trong vài mili giây mà không cần dựa vào mạng bên ngoài.

Để đạt được điều này, cần có các mô hình hiệu suất cao và phần cứng chuyên dụng. Các mô hình phải được tối ưu hóa thông qua các kỹ thuật như lượng tử hóa mô hình và cắt tỉa mô hình để phù hợp với các hạn chế về bộ nhớ và tính toán của các thiết bị biên. Các giải pháp phần cứng bao gồm từ các mô-đun mạnh mẽ như NVIDIA Jetson đến các bộ vi điều khiển công suất thấp và các bộ tăng tốc chuyên dụng như Google Edge TPU và Qualcomm AI Engine .

Trí tuệ nhân tạo biên so với điện toán biên

Mặc dù có liên quan chặt chẽ, Edge AI và Edge Computing là những khái niệm riêng biệt.

• Điện toán biên : Đây là một chiến lược kiến trúc rộng bao gồm việc di chuyển tài nguyên tính toán và lưu trữ dữ liệu ra khỏi các trung tâm dữ liệu tập trung và đến gần hơn với các nguồn tạo dữ liệu. Mục tiêu chính là giảm độ trễ và tiết kiệm băng thông.
• Trí tuệ nhân tạo biên (Edge AI) : Đây là một ứng dụng cụ thể của điện toán biên. Nó đề cập đến việc chạy các khối lượng công việc AI và ML cụ thể trên các thiết bị cục bộ, phân tán này. Nói tóm lại, Điện toán biên là cơ sở hạ tầng cho phép Trí tuệ nhân tạo biên hoạt động hiệu quả ở vùng ngoại vi của mạng.

Ứng dụng và Ví dụ

Trí tuệ nhân tạo biên đang chuyển đổi các ngành công nghiệp bằng cách cho phép đưa ra quyết định thông minh, theo thời gian thực ở những nơi cần thiết nhất, đặc biệt là trong lĩnh vực thị giác máy tính .

1. Hệ thống Tự động : Xe tự lái và máy bay không người lái phụ thuộc vào Edge AI để xử lý dữ liệu từ camera, LiDAR và các cảm biến khác ngay lập tức. Điều này cho phép đưa ra các quyết định quan trọng, tức thời như tránh chướng ngại vật và điều hướng mà không cần phải giao tiếp với máy chủ đám mây. Các mô hình như Ultralytics YOLO11 được tối ưu hóa cho các tác vụ phát hiện vật thể theo thời gian thực như vậy.
2. Camera An ninh Thông minh: Camera an ninh AI hiện đại sử dụng Edge AI để phân tích nguồn cấp dữ liệu video trực tiếp trên thiết bị. Điều này cho phép chúng phát hiện người, phương tiện hoặc các dấu hiệu bất thường và gửi cảnh báo ngay lập tức, đồng thời giảm thiểu rủi ro về quyền riêng tư bằng cách tránh việc liên tục tải lên dữ liệu video nhạy cảm.
3. Tự động hóa công nghiệp : Trong các nhà máy thông minh , Edge AI hỗ trợ kiểm tra chất lượng trên thiết bị, cảnh báo bảo trì dự đoán cho máy móc và robot thông minh bằng cách phân tích dữ liệu cảm biến trên sàn nhà máy.
4. Bán lẻ thông minh : Edge AI hỗ trợ hệ thống thanh toán không cần thu ngân, quản lý hàng tồn kho theo thời gian thực và phân tích trong cửa hàng bằng cách xử lý dữ liệu tại địa phương.
5. Chăm sóc sức khỏe : Thiết bị theo dõi sức khỏe đeo được và thiết bị y tế sử dụng Edge AI để theo dõi liên tục bệnh nhân, phát hiện té ngã bằng cách ước tính tư thế và thực hiện phân tích hình ảnh y tế sơ bộ trên thiết bị.

Thách thức và cân nhắc

Mặc dù có nhiều lợi ích, việc triển khai Edge AI vẫn đặt ra một số thách thức. Sức mạnh tính toán và bộ nhớ hạn chế của các thiết bị biên đòi hỏi các nhà phát triển phải sử dụng các mô hình hiệu suất cao, chẳng hạn như các mô hình thuộc dòng YOLO , và các nền tảng tối ưu hóa như NVIDIA TensorRT và OpenVINO của Intel . Việc quản lý triển khai và cập nhật mô hình trên hàng nghìn thiết bị phân tán có thể rất phức tạp, thường yêu cầu các nền tảng MLOps mạnh mẽ và các công cụ container hóa như Docker . Hơn nữa, việc đảm bảo độ chính xác nhất quán của mô hình trong các điều kiện thực tế đa dạng và khó lường vẫn là một rào cản lớn đối với các nhà phát triển.