Triển khai ứng dụng thị giác máy tính trên thiết bị Edge AI

Nhờ những tiến bộ gần đây trong thị giác máy tính và trí tuệ nhân tạo (AI), lĩnh vực từng chỉ là một chủ đề nghiên cứu giờ đây đang thúc đẩy các ứng dụng có tác động mạnh mẽ trong nhiều ngành. Từ xe tự lái đến chẩn đoán hình ảnh y khoa và bảo mật, các hệ thống thị giác máy tính đang giải quyết những vấn đề thực tế trên quy mô lớn.

Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực, còn dựa vào cloud computing không phải lúc nào cũng thiết thực do độ trễ, chi phí và các vấn đề về quyền riêng tư. Edge AI là giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy trực tiếp model AI thị giác trên các thiết bị biên, doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm hơn và an toàn hơn, giúp AI thời gian thực dễ tiếp cận hơn.

Tại YOLO Vision 2024 (YV24), sự kiện kết hợp trực tuyến và trực tiếp thường niên do Ultralytics tổ chức, một trong những chủ đề trọng tâm là dân chủ hóa AI thị giác bằng cách giúp việc triển khai thân thiện với người dùng và hiệu quả hơn. Guy Dahan, Kiến trúc sư Giải pháp Cấp cao tại NVIDIA, đã thảo luận về cách các giải pháp phần cứng và phần mềm của NVIDIA, bao gồm thiết bị điện toán biên, máy chủ inference, framework tối ưu hóa và SDK triển khai AI, đang giúp nhà phát triển tối ưu hóa AI tại biên.

Trong bài viết này, chúng ta sẽ tìm hiểu những điểm chính từ bài phát biểu chính của Guy Dahan tại YV24 và cách các đổi mới mới nhất của NVIDIA giúp triển khai AI thị giác nhanh hơn và có khả năng mở rộng tốt hơn.

Edge AI là gì?#

Guy Dahan mở đầu bài nói bằng cách bày tỏ sự hào hứng khi tham dự YV24 từ xa và sự quan tâm của ông đối với package Python Ultralytics cùng các model YOLO của Ultralytics, đồng thời chia sẻ: "Tôi đã sử dụng Ultralytics kể từ ngày sản phẩm ra mắt. Tôi thực sự yêu thích Ultralytics — tôi đã dùng YOLOv5 từ trước đó, và tôi là người rất đam mê package này."

Sau đó, ông giới thiệu khái niệm Edge AI và giải thích rằng công nghệ này chạy các phép tính AI trực tiếp trên thiết bị như camera, drone hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các máy chủ cloud ở xa để xử lý.

Thay vì chờ hình ảnh hoặc video được tải lên, phân tích rồi gửi kết quả trở lại, Edge AI cho phép phân tích dữ liệu ngay lập tức trên chính thiết bị. Điều này giúp các hệ thống AI thị giác nhanh hơn, hiệu quả hơn và ít phụ thuộc vào kết nối Internet hơn. Edge AI đặc biệt hữu ích cho các ứng dụng cần ra quyết định theo thời gian thực, chẳng hạn như xe tự lái, camera an ninh và nhà máy thông minh.

Các lợi ích chính của Edge AI#

Sau khi giới thiệu Edge AI, Guy Dahan nêu bật những ưu điểm chính của công nghệ này, tập trung vào hiệu quả, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp — vì model AI xử lý dữ liệu trực tiếp trên thiết bị nên không cần gửi thông tin lên cloud và chờ phản hồi.

Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Việc gửi lượng lớn dữ liệu lên cloud, đặc biệt là luồng video, có thể tốn kém. Tuy nhiên, xử lý dữ liệu cục bộ giúp giảm chi phí băng thông và lưu trữ.

Một ưu điểm chính khác là quyền riêng tư dữ liệu, vì thông tin được giữ trên thiết bị thay vì chuyển đến máy chủ bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng trong lĩnh vực chăm sóc sức khỏe, tài chính và bảo mật, nơi việc giữ dữ liệu cục bộ và an toàn là ưu tiên hàng đầu.

Hình 1. Guy Dahan trình bày từ xa tại YV24 về lợi ích của Edge AI.

Dựa trên những lợi ích này, Guy Dahan nhận xét về mức độ ứng dụng Edge AI ngày càng tăng. Ông lưu ý rằng kể từ khi NVIDIA giới thiệu Jetson vào năm 2014, mức sử dụng đã tăng gấp mười lần. Hiện nay, hơn 1,2 triệu nhà phát triển đang làm việc với thiết bị Jetson.

Tổng quan về NVIDIA Jetson: thiết bị Edge AI#

Sau đó, Guy Dahan tập trung vào thiết bị NVIDIA Jetson, một dòng thiết bị điện toán biên AI được thiết kế để mang lại hiệu năng cao với mức tiêu thụ điện năng thấp. Thiết bị Jetson lý tưởng cho các ứng dụng thị giác máy tính trong những lĩnh vực như robot, nông nghiệp, chăm sóc sức khỏe và tự động hóa công nghiệp. Guy Dahan nói thêm: "Jetson là thiết bị Edge AI được thiết kế chuyên biệt cho AI. Tôi còn có thể nói rằng ban đầu chúng chủ yếu được thiết kế cho thị giác máy tính."

Các thiết bị Jetson có ba phân khúc, mỗi phân khúc phù hợp với những nhu cầu khác nhau:

• Phân khúc phổ thông: Các thiết bị này cung cấp hiệu năng AI từ 20 đến 40 nghìn tỷ phép tính mỗi giây (TOPS) với mức tiêu thụ điện từ 10 đến 15 W, là lựa chọn có chi phí phải chăng cho các ứng dụng edge.
• Phân khúc tầm trung: Cân bằng giữa hiệu năng và hiệu quả, cung cấp 70 - 200 TOPS với mức tiêu thụ điện 20 - 40W, phù hợp với các workload AI tầm trung.
• Hiệu năng cao: Cung cấp hiệu năng lên đến 275 TOPS với mức tiêu thụ điện 60 - 75W, được thiết kế cho các ứng dụng AI đòi hỏi cao như robot và tự động hóa.

Ngoài ra, Guy Dahan đã chia sẻ về Jetson AGX Thor sắp ra mắt trong năm nay và cho biết thiết bị này sẽ có hiệu năng GPU (bộ xử lý đồ họa) cao gấp tám lần, dung lượng bộ nhớ gấp đôi và hiệu năng CPU (bộ xử lý trung tâm) được cải thiện. Sản phẩm được thiết kế chuyên biệt cho robot hình người và các ứng dụng Edge AI tiên tiến.

Những thách thức liên quan đến việc triển khai model thị giác máy tính#

Sau đó, Guy Dahan chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả khi có phần cứng mạnh mẽ, việc triển khai model một cách hiệu quả vẫn có thể là một thách thức.

Một trong những trở ngại lớn nhất là khả năng tương thích, vì các nhà phát triển AI thường làm việc với nhiều framework AI khác nhau như PyTorch và TensorFlow. Việc chuyển đổi giữa các framework này có thể khó khăn, đòi hỏi nhà phát triển phải tạo lại môi trường để đảm bảo mọi thứ hoạt động chính xác.

Khả năng mở rộng cũng là một thách thức quan trọng. Model AI đòi hỏi năng lực tính toán đáng kể, và như Dahan đã nói: "Chưa từng có công ty AI nào muốn ít năng lực tính toán hơn." Việc mở rộng ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên tốn kém, khiến việc tối ưu hóa trở nên thiết yếu.

Ngoài ra, các pipeline AI phức tạp, thường bao gồm nhiều loại dữ liệu, xử lý thời gian thực và tích hợp hệ thống. Các developer cần bỏ nhiều công sức để đảm bảo model hoạt động trơn tru với hệ sinh thái phần mềm hiện có. Giải quyết những thách thức này là yếu tố then chốt để triển khai các ứng dụng AI hiệu quả và có khả năng mở rộng hơn.

Hình 2. Những thách thức trong triển khai model.

Đơn giản hóa việc triển khai với NVIDIA Triton Inference Server#

Tiếp theo, Guy Dahan tập trung vào Triton Inference Server của NVIDIA. Ông chỉ ra rằng nhiều công ty và startup bắt đầu phát triển AI mà chưa tối ưu hóa đầy đủ các model. Thiết kế lại toàn bộ pipeline AI từ đầu có thể gây gián đoạn và tốn thời gian, khiến việc mở rộng hiệu quả trở nên khó khăn.

Thay vì yêu cầu đại tu toàn bộ hệ thống, Triton cho phép developer từng bước tinh chỉnh và tối ưu hóa quy trình AI, tích hợp các thành phần hiệu quả hơn mà không làm gián đoạn thiết lập hiện có. Với khả năng hỗ trợ nhiều framework AI, bao gồm TensorFlow, PyTorch, ONNX và TensorRT, Triton cho phép triển khai trên môi trường đám mây, trung tâm dữ liệu và thiết bị edge mà chỉ cần điều chỉnh tối thiểu.

Hình 3. Tổng quan về Triton Inference Server của NVIDIA.

Dưới đây là một số ưu điểm chính của Triton Inference Server của NVIDIA:

• Batch tự động: Triton nhóm nhiều yêu cầu AI lại với nhau trước khi xử lý, giúp cải thiện thông lượng và mức sử dụng GPU.
• Tích hợp Kubernetes: Triton được thiết kế cho môi trường đám mây, nghĩa là có thể tích hợp với Kubernetes (hệ thống giúp quản lý và mở rộng quy mô ứng dụng AI trên nhiều máy tính hoặc máy chủ đám mây).
• Mã nguồn mở và có thể tùy chỉnh: Nhà phát triển có thể điều chỉnh Triton để đáp ứng nhu cầu cụ thể, đảm bảo tính linh hoạt cho nhiều ứng dụng AI.

Tối đa hóa hiệu năng AI bằng NVIDIA TensorRT#

Nếu bạn muốn tăng tốc hơn nữa, NVIDIA TensorRT là một lựa chọn đáng cân nhắc để tối ưu hóa model AI. Guy Dahan giải thích thêm rằng TensorRT là một trình tối ưu hóa deep learning hiệu năng cao, được xây dựng cho GPU NVIDIA. Có thể chuyển đổi model từ TensorFlow, PyTorch, ONNX và MXNet thành các tệp thực thi trên GPU với hiệu quả cao bằng TensorRT.

Điều khiến TensorRT đáng tin cậy là khả năng tối ưu hóa riêng cho từng phần cứng. Model được tối ưu hóa cho thiết bị Jetson sẽ không hoạt động hiệu quả tương đương trên các GPU khác, vì TensorRT tinh chỉnh hiệu năng dựa trên phần cứng mục tiêu. Theo NVIDIA, TensorRT có thể tăng tốc suy luận lên đến 36 lần so với các nền tảng chỉ dùng CPU.

Guy Dahan cũng nhấn mạnh việc Ultralytics hỗ trợ TensorRT, đồng thời giải thích cách TensorRT giúp triển khai model AI nhanh và hiệu quả hơn. Các model Ultralytics YOLO có thể được export trực tiếp sang định dạng TensorRT, cho phép developer tối ưu hóa model cho GPU NVIDIA mà không cần thay đổi gì.

DeepStream 7.0: bộ công cụ phân tích luồng dữ liệu#

Khép lại bài nói chuyện đầy ấn tượng, Guy Dahan đã giới thiệu DeepStream 7.0 - một framework AI được thiết kế để xử lý video, âm thanh và dữ liệu cảm biến theo thời gian thực bằng GPU NVIDIA. Được xây dựng để hỗ trợ các ứng dụng thị giác máy tính tốc độ cao, framework này cho phép phát hiện đối tượng, theo dõi và phân tích trong các hệ thống tự hành, an ninh, tự động hóa công nghiệp và thành phố thông minh. Bằng cách chạy AI trực tiếp trên thiết bị biên, DeepStream loại bỏ sự phụ thuộc vào đám mây, giảm độ trễ và cải thiện hiệu quả.

Hình 4. Khám phá DeepStream 7.0 tại YV24 cùng Guy Dahan.

Cụ thể, DeepStream có thể xử lý video ứng dụng AI từ đầu đến cuối. DeepStream hỗ trợ workflow đầu cuối, từ giải mã và tiền xử lý video đến suy luận AI và hậu xử lý.

Gần đây, DeepStream đã giới thiệu một số bản cập nhật nhằm cải thiện việc triển khai AI, giúp quy trình này dễ tiếp cận và mở rộng hơn. Các công cụ mới đơn giản hóa quá trình phát triển, cải thiện khả năng theo dõi bằng nhiều camera và tối ưu hóa pipeline AI để đạt hiệu năng tốt hơn.

Nhà phát triển hiện có thêm hỗ trợ cho môi trường Windows, khả năng hợp nhất cảm biến được cải thiện để tích hợp dữ liệu từ nhiều nguồn và quyền truy cập vào các ứng dụng tham chiếu dựng sẵn nhằm đẩy nhanh triển khai. Những cải tiến này giúp DeepStream trở thành giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, hỗ trợ nhà phát triển dễ dàng mở rộng phân tích video thông minh.

Điểm chính cần ghi nhớ#

Như đã được minh họa trong bài phát biểu chính của Guy Dahan tại YV24, Edge AI đang định hình lại các ứng dụng thị giác máy tính. Nhờ những tiến bộ về phần cứng và phần mềm, quá trình xử lý thời gian thực ngày càng nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.

Khi ngày càng nhiều ngành áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và độ phức tạp trong triển khai sẽ là chìa khóa để khai thác tối đa tiềm năng của công nghệ này. Nắm bắt những đổi mới này sẽ thúc đẩy các ứng dụng AI thông minh và có khả năng phản hồi tốt hơn, đồng thời định hình tương lai của thị giác máy tính.

Hãy trở thành một phần của cộng đồng ngày càng phát triển của chúng tôi! Khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI và xem các lựa chọn cấp phép của chúng tôi để bắt đầu các dự án AI thị giác. Bạn quan tâm đến những đổi mới như AI trong chăm sóc sức khỏe và thị giác máy tính trong sản xuất? Truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!