Triển khai ứng dụng computer vision trên các thiết bị Edge AI

Nhờ những tiến bộ gần đây trong thị giác máy tính và trí tuệ nhân tạo (AI), lĩnh vực từng chỉ giới hạn trong nghiên cứu nay đang thúc đẩy các ứng dụng tạo ra tác động thiết thực trong nhiều ngành. Từ xe tự lái đến chẩn đoán hình ảnh y tế và an ninh, các hệ thống thị giác máy tính đang giải quyết những vấn đề thực tế ở quy mô lớn.

Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực, và việc phụ thuộc vào điện toán đám mây không phải lúc nào cũng thực tế do độ trễ, chi phí và các mối lo ngại về quyền riêng tư. Edge AI là một giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy các model vision AI trực tiếp trên thiết bị edge, doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm chi phí hơn và bảo mật hơn, giúp AI thời gian thực trở nên dễ tiếp cận hơn.

Tại YOLO Vision 2024 (YV24), sự kiện hybrid thường niên do Ultralytics tổ chức, một trong những chủ đề trọng tâm là dân chủ hóa vision AI bằng cách giúp việc triển khai trở nên thân thiện với người dùng và hiệu quả hơn. Guy Dahan, Kiến trúc sư Giải pháp Cấp cao tại NVIDIA, đã thảo luận về cách các giải pháp phần cứng và phần mềm của NVIDIA, bao gồm thiết bị điện toán edge, inference server, framework tối ưu hóa và SDK triển khai AI, đang giúp các nhà phát triển tối ưu hóa AI tại edge.

Trong bài viết này, chúng ta sẽ tìm hiểu những điểm chính từ bài keynote YV24 của Guy Dahan và cách các cải tiến mới nhất của NVIDIA đang giúp việc triển khai vision AI nhanh hơn và có khả năng mở rộng tốt hơn.

Edge AI là gì?#

Guy Dahan mở đầu bài nói bằng cách bày tỏ sự hào hứng khi tham gia YV24 theo hình thức trực tuyến và sự quan tâm của ông đối với package Python của Ultralytics và các model YOLO của Ultralytics, đồng thời nói: "Tôi đã sử dụng Ultralytics kể từ ngày package này ra mắt. Tôi thực sự yêu thích Ultralytics - trước đó tôi thậm chí đã sử dụng YOLOv5, và tôi là một người rất yêu thích package này."

Sau đó, ông giới thiệu khái niệm Edge AI, giải thích rằng công nghệ này thực hiện các phép tính AI trực tiếp trên những thiết bị như camera, drone hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các cloud server ở xa để xử lý.

Thay vì chờ hình ảnh hoặc video được tải lên, phân tích rồi gửi kết quả trở lại, Edge AI cho phép phân tích dữ liệu ngay lập tức trên chính thiết bị. Điều này giúp các hệ thống vision AI nhanh hơn, hiệu quả hơn và ít phụ thuộc vào kết nối Internet hơn. Edge AI đặc biệt hữu ích cho các ứng dụng ra quyết định theo thời gian thực, chẳng hạn như xe tự lái, camera an ninh và nhà máy thông minh.

Các lợi ích chính của Edge AI#

Sau khi giới thiệu Edge AI, Guy Dahan nhấn mạnh những ưu điểm chính của công nghệ này, tập trung vào hiệu quả, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp - vì các model AI xử lý dữ liệu trực tiếp trên thiết bị nên không cần gửi thông tin lên cloud và chờ phản hồi.

Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Việc gửi một lượng lớn dữ liệu lên cloud, đặc biệt là các luồng video, có thể tốn kém. Tuy nhiên, xử lý dữ liệu cục bộ giúp giảm chi phí băng thông và lưu trữ.

Một ưu điểm quan trọng khác là quyền riêng tư dữ liệu, vì thông tin được lưu trên thiết bị thay vì truyền đến server bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng trong y tế, tài chính và an ninh, nơi việc giữ dữ liệu cục bộ và bảo mật là ưu tiên hàng đầu.

Hình 1. Guy Dahan trình bày từ xa tại YV24 về các lợi ích của Edge AI.

Dựa trên những lợi ích này, Guy Dahan nhận xét về mức độ ứng dụng Edge AI ngày càng tăng. Ông cho biết kể từ khi NVIDIA giới thiệu Jetson vào năm 2014, mức độ sử dụng đã tăng gấp mười lần. Hiện nay, hơn 1,2 triệu nhà phát triển đang làm việc với các thiết bị Jetson.

Tổng quan về NVIDIA Jetson: thiết bị Edge AI#

Guy Dahan sau đó tập trung vào các thiết bị NVIDIA Jetson, một dòng thiết bị điện toán edge AI được thiết kế để mang lại hiệu năng cao với mức tiêu thụ điện năng thấp. Các thiết bị Jetson lý tưởng cho những ứng dụng thị giác máy tính trong các lĩnh vực như robot, nông nghiệp, y tế và tự động hóa công nghiệp. Guy Dahan nói thêm: "Jetson là các thiết bị Edge AI được thiết kế chuyên biệt cho AI. Tôi thậm chí có thể nói rằng ban đầu chúng chủ yếu được thiết kế cho thị giác máy tính."

Các thiết bị Jetson được chia thành ba cấp, mỗi cấp phù hợp với những nhu cầu khác nhau:

• Cấp cơ bản: Các thiết bị này cung cấp hiệu năng AI từ 20 - 40 nghìn tỷ phép tính mỗi giây (TOPS) với mức tiêu thụ điện năng 10 - 15W, trở thành lựa chọn hợp lý cho các ứng dụng edge.
• Cấp phổ thông: Cân bằng giữa hiệu năng và hiệu quả, cung cấp 70 - 200 TOPS với mức tiêu thụ điện năng 20 - 40W, phù hợp với các workload AI tầm trung.
• Hiệu năng cao: Cung cấp tối đa 275 TOPS với mức tiêu thụ điện năng 60 - 75W, được thiết kế cho các ứng dụng AI đòi hỏi cao như robot và tự động hóa.

Ngoài ra, Guy Dahan chia sẻ về Jetson AGX Thor sắp ra mắt trong năm nay và cho biết thiết bị này sẽ cung cấp hiệu năng GPU (bộ xử lý đồ họa) cao gấp tám lần, dung lượng bộ nhớ gấp đôi và hiệu năng CPU (bộ xử lý trung tâm) được cải thiện. Thiết bị được thiết kế chuyên biệt cho robot hình người và các ứng dụng Edge AI tiên tiến.

Các thách thức liên quan đến việc triển khai model thị giác máy tính#

Guy Dahan sau đó chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả khi có phần cứng mạnh, việc triển khai model một cách hiệu quả vẫn có thể là một thách thức.

Một trong những trở ngại lớn nhất là khả năng tương thích, vì các nhà phát triển AI thường làm việc với nhiều framework AI khác nhau như PyTorch và TensorFlow. Việc chuyển đổi giữa các framework này có thể khó khăn, đòi hỏi các nhà phát triển phải tạo lại môi trường để đảm bảo mọi thứ hoạt động chính xác.

Khả năng mở rộng là một thách thức quan trọng khác. Các model AI đòi hỏi năng lực tính toán đáng kể và như Dahan nói: "Chưa từng có công ty AI nào muốn ít năng lực tính toán hơn." Việc mở rộng các ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên tốn kém, khiến việc tối ưu hóa trở nên thiết yếu.

Ngoài ra, các pipeline AI rất phức tạp, thường liên quan đến nhiều loại dữ liệu, xử lý thời gian thực và tích hợp hệ thống. Các nhà phát triển phải nỗ lực đáng kể để đảm bảo model của họ tương tác liền mạch với các hệ sinh thái phần mềm hiện có. Vượt qua những thách thức này là một phần then chốt để làm cho việc triển khai AI hiệu quả hơn và có khả năng mở rộng tốt hơn.

Hình 2. Các thách thức trong việc triển khai model.

Đơn giản hóa việc triển khai với NVIDIA Triton Inference Server#

Tiếp theo, Guy Dahan chuyển sự chú ý sang Triton Inference Server của NVIDIA. Ông chỉ ra rằng nhiều công ty và startup bắt đầu phát triển AI mà chưa tối ưu hóa đầy đủ các model của mình. Việc thiết kế lại toàn bộ pipeline AI từ đầu có thể gây gián đoạn và tốn thời gian, khiến việc mở rộng hiệu quả trở nên khó khăn.

Thay vì yêu cầu đại tu toàn bộ hệ thống, Triton cho phép các nhà phát triển từng bước tinh chỉnh và tối ưu hóa workflow AI, tích hợp các thành phần hiệu quả hơn mà không làm hỏng setup hiện tại. Với khả năng hỗ trợ nhiều framework AI, bao gồm TensorFlow, PyTorch, ONNX và TensorRT, Triton cho phép triển khai liền mạch trên môi trường cloud, data center và thiết bị edge với rất ít điều chỉnh.

Hình 3. Tổng quan về Triton Inference Server của NVIDIA.

Dưới đây là một số ưu điểm chính của Triton Inference Server của NVIDIA:

• Batching tự động: Triton nhóm nhiều request AI lại với nhau trước khi xử lý, giúp giảm độ trễ (latency) và cải thiện tốc độ inference (thời gian để một model AI tạo ra kết quả).
• Tích hợp Kubernetes: Triton là cloud-native, nghĩa là công cụ này hoạt động liền mạch với Kubernetes (một hệ thống giúp quản lý và mở rộng các ứng dụng AI trên nhiều máy tính hoặc cloud server).
• Mã nguồn mở và có thể tùy chỉnh: Các nhà phát triển có thể sửa đổi Triton để phù hợp với nhu cầu cụ thể, đảm bảo tính linh hoạt cho nhiều ứng dụng AI.

Tối đa hóa hiệu năng AI bằng NVIDIA TensorRT#

Giả sử bạn đang tìm kiếm khả năng tăng tốc cao hơn nữa; NVIDIA TensorRT là một lựa chọn đáng chú ý để tối ưu hóa các model AI. Guy Dahan giải thích thêm rằng TensorRT là một optimizer deep learning hiệu năng cao được xây dựng cho GPU NVIDIA. Các model từ TensorFlow, PyTorch, ONNX và MXNet có thể được chuyển đổi thành các file thực thi trên GPU có hiệu suất cao bằng TensorRT.

Điều khiến TensorRT đáng tin cậy là khả năng tối ưu hóa theo phần cứng cụ thể. Một model được tối ưu hóa cho thiết bị Jetson sẽ không hoạt động hiệu quả như vậy trên các GPU khác, vì TensorRT tinh chỉnh hiệu năng dựa trên phần cứng mục tiêu. Một model thị giác máy tính được tinh chỉnh có thể tăng tốc độ inference lên đến 36 lần so với các model chưa được tối ưu hóa.

Guy Dahan cũng chú ý đến khả năng hỗ trợ TensorRT của Ultralytics và nói về cách tính năng này giúp việc triển khai model AI nhanh hơn và hiệu quả hơn. Các model YOLO của Ultralytics có thể được export trực tiếp sang định dạng TensorRT, cho phép các nhà phát triển tối ưu hóa chúng cho GPU NVIDIA mà không cần thực hiện bất kỳ thay đổi nào.

DeepStream 7.0: bộ công cụ phân tích streaming#

Khép lại bài nói đầy ấn tượng, Guy Dahan giới thiệu DeepStream 7.0 - một framework AI được thiết kế để xử lý video, âm thanh và dữ liệu cảm biến theo thời gian thực bằng GPU NVIDIA. Được xây dựng để hỗ trợ các ứng dụng thị giác máy tính tốc độ cao, framework này cho phép phát hiện đối tượng, tracking và phân tích trong các hệ thống tự hành, an ninh, tự động hóa công nghiệp và thành phố thông minh. Bằng cách chạy AI trực tiếp trên thiết bị edge, DeepStream loại bỏ sự phụ thuộc vào cloud, giảm độ trễ và cải thiện hiệu quả.

Hình 4. Khám phá DeepStream 7.0 tại YV24 cùng Guy Dahan.

Cụ thể, DeepStream có thể xử lý video được AI hỗ trợ từ đầu đến cuối. Công cụ này hỗ trợ workflow end-to-end, từ giải mã và tiền xử lý video đến inference AI và hậu xử lý.

Gần đây, DeepStream đã giới thiệu một số bản cập nhật nhằm nâng cao khả năng triển khai AI, giúp công nghệ này dễ tiếp cận và có khả năng mở rộng hơn. Các công cụ mới đơn giản hóa quá trình phát triển, cải thiện tracking đa camera và tối ưu hóa các pipeline AI để đạt hiệu năng tốt hơn.

Các nhà phát triển hiện được hỗ trợ mở rộng cho môi trường Windows, có khả năng sensor fusion nâng cao để tích hợp dữ liệu từ nhiều nguồn và được truy cập các ứng dụng tham chiếu dựng sẵn nhằm tăng tốc triển khai. Những cải tiến này khiến DeepStream trở thành giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, giúp các nhà phát triển dễ dàng mở rộng hoạt động phân tích video thông minh.

Những điểm chính#

Như được minh họa trong bài keynote YV24 của Guy Dahan, Edge AI đang định hình lại các ứng dụng thị giác máy tính. Nhờ những tiến bộ trong phần cứng và phần mềm, việc xử lý theo thời gian thực đang trở nên nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.

Khi ngày càng nhiều ngành áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và độ phức tạp trong triển khai sẽ là yếu tố then chốt để khai phá toàn bộ tiềm năng của công nghệ này. Việc tiếp nhận những đổi mới này sẽ thúc đẩy các ứng dụng AI thông minh hơn, phản hồi nhanh hơn và định hình tương lai của thị giác máy tính.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI và xem các tùy chọn cấp phép của chúng tôi để bắt đầu các dự án vision AI. Bạn tò mò về những đổi mới như AI trong lĩnh vực y tế và thị giác máy tính trong sản xuất? Hãy truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!