Triển khai các ứng dụng thị giác máy tính trên thiết bị Edge AI

Nhờ những tiến bộ gần đây trong lĩnh vực computer vision và trí tuệ nhân tạo (AI), thứ từng chỉ là một lĩnh vực nghiên cứu nay đang thúc đẩy các ứng dụng có sức ảnh hưởng lớn trên nhiều ngành công nghiệp. Từ xe tự lái đến hình ảnh y tế và bảo mật, các hệ thống computer vision đang giải quyết các vấn đề thực tế ở quy mô lớn.

Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực, và việc phụ thuộc vào điện toán đám mây không phải lúc nào cũng khả thi do độ trễ, chi phí và các mối quan ngại về quyền riêng tư. Edge AI là một giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy các model vision AI trực tiếp trên các thiết bị biên, các doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm hơn và bảo mật hơn, giúp cho AI thời gian thực trở nên dễ tiếp cận hơn.

Trong sự kiện YOLO Vision 2024 (YV24), sự kiện lai thường niên do Ultralytics tổ chức, một trong những chủ đề trọng tâm là dân chủ hóa vision AI bằng cách giúp việc triển khai trở nên thân thiện và hiệu quả hơn với người dùng. Guy Dahan, Kiến trúc sư Giải pháp Cấp cao tại NVIDIA, đã thảo luận về cách các giải pháp phần cứng và phần mềm của NVIDIA, bao gồm các thiết bị điện toán biên, các inference server, các framework tối ưu hóa và các SDK triển khai AI, đang giúp các nhà phát triển tối ưu hóa AI ở biên.

Trong bài viết này, chúng ta sẽ khám phá những điểm chính từ bài phát biểu chủ đạo của Guy Dahan tại YV24 và cách các cải tiến mới nhất của NVIDIA đang giúp việc triển khai vision AI nhanh chóng và có khả năng mở rộng tốt hơn.

Edge AI là gì?#

Guy Dahan bắt đầu bài thuyết trình của mình bằng cách bày tỏ sự hào hứng khi tham gia YV24 theo hình thức trực tuyến và sự quan tâm của ông đối với gói Python Ultralytics và các YOLO models của Ultralytics, khi chia sẻ rằng: "Tôi đã sử dụng Ultralytics kể từ ngày nó ra mắt. Tôi thực sự rất thích Ultralytics - tôi đã sử dụng YOLOv5 thậm chí từ trước đó, và tôi là một người thực sự đam mê gói này."

Sau đó, ông giới thiệu khái niệm về Edge AI, giải thích rằng nó liên quan đến việc chạy các tính toán AI trực tiếp trên các thiết bị như camera, máy bay không người lái hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các server đám mây ở xa để xử lý.

Thay vì phải chờ đợi hình ảnh hoặc video được tải lên, phân tích và sau đó gửi lại kết quả, Edge AI giúp việc phân tích dữ liệu ngay tức thì trên chính thiết bị trở nên khả thi. Điều này làm cho các hệ thống vision AI nhanh hơn, hiệu quả hơn và ít phụ thuộc hơn vào kết nối internet. Edge AI đặc biệt hữu ích cho các ứng dụng ra quyết định thời gian thực như xe tự lái, camera an ninh và nhà máy thông minh.

Những lợi ích chính của Edge AI#

Sau khi giới thiệu về Edge AI, Guy Dahan nhấn mạnh những ưu điểm chính của nó, tập trung vào hiệu suất, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp - vì các model AI xử lý dữ liệu trực tiếp trên thiết bị, nên không cần gửi thông tin lên đám mây và chờ đợi phản hồi.

Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Việc gửi khối lượng dữ liệu lớn lên đám mây, đặc biệt là các luồng video, có thể rất tốn kém. Tuy nhiên, xử lý dữ liệu tại chỗ giúp giảm chi phí băng thông và lưu trữ.

Một ưu điểm quan trọng khác là data privacy vì thông tin được lưu giữ trên thiết bị thay vì được truyền đến một server bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng chăm sóc sức khỏe, tài chính và bảo mật, nơi việc giữ dữ liệu cục bộ và an toàn là ưu tiên hàng đầu.

Hình 1. Guy Dahan thuyết trình từ xa tại YV24 về những lợi ích của Edge AI.

Dựa trên những lợi ích này, Guy Dahan đã bình luận về việc áp dụng ngày càng rộng rãi của Edge AI. Ông lưu ý rằng kể từ khi NVIDIA giới thiệu Jetson vào năm 2014, mức độ sử dụng đã tăng gấp mười lần. Hiện nay, hơn 1,2 triệu nhà phát triển đang làm việc với các thiết bị Jetson.

Tổng quan về NVIDIA Jetson: một thiết bị Edge AI#

Guy Dahan sau đó tập trung vào các NVIDIA Jetson devices, một dòng thiết bị điện toán biên AI được thiết kế để mang lại hiệu suất cao với mức tiêu thụ điện năng thấp. Các thiết bị Jetson rất lý tưởng cho các ứng dụng computer vision trong các lĩnh vực như robot, nông nghiệp, y tế và tự động hóa công nghiệp. "Jetsons là các thiết bị Edge AI được thiết kế riêng biệt cho AI. Tôi có thể bổ sung thêm rằng ban đầu chúng chủ yếu được thiết kế cho computer vision," Guy Dahan chia sẻ thêm.

Các thiết bị Jetson được chia thành ba phân khúc, mỗi phân khúc phù hợp với những nhu cầu khác nhau:

• Entry-level: Những thiết bị này cung cấp hiệu suất AI từ 20 - 40 nghìn tỷ phép tính mỗi giây (TOPS) với mức tiêu thụ điện năng từ 10 - 15W, trở thành lựa chọn hợp lý cho các ứng dụng tại biên.
• Mainstream: Cân bằng giữa hiệu suất và hiệu quả, cung cấp từ 70 - 200 TOPS với mức tiêu thụ điện năng từ 20 - 40W, phù hợp cho các khối lượng công việc AI tầm trung.
• High-performance: Cung cấp lên tới 275 TOPS với mức tiêu thụ điện năng từ 60 - 75W, được thiết kế cho các ứng dụng AI đòi hỏi khắt khe như robot và tự động hóa.

Ngoài ra, Guy Dahan chia sẻ về Jetson AGX Thor sắp ra mắt trong năm nay và cho biết nó sẽ cung cấp hiệu suất GPU (Bộ xử lý đồ họa) gấp tám lần, dung lượng bộ nhớ gấp đôi và hiệu suất CPU (Bộ xử lý trung tâm) được cải thiện. Nó được thiết kế đặc biệt cho robot hình người và các ứng dụng Edge AI tiên tiến.

Các thách thức liên quan đến việc triển khai các model thị giác máy tính#

Guy Dahan sau đó chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả với phần cứng mạnh mẽ, việc triển khai các model một cách hiệu quả vẫn có thể là một thách thức.

Một trong những rào cản lớn nhất là tính tương thích, vì các nhà phát triển AI thường làm việc với các AI frameworks khác nhau như PyTorch và TensorFlow. Việc chuyển đổi giữa các framework này có thể gặp khó khăn, đòi hỏi các nhà phát triển phải tạo lại môi trường để đảm bảo mọi thứ chạy chính xác.

Khả năng mở rộng là một thách thức chính khác. Các model AI đòi hỏi sức mạnh tính toán đáng kể, và như Dahan đã nói, "Chưa từng có công ty AI nào muốn ít tài nguyên tính toán hơn." Việc mở rộng các ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên đắt đỏ, khiến việc tối ưu hóa trở nên thiết yếu.

Ngoài ra, các pipeline AI rất phức tạp, thường liên quan đến các loại dữ liệu khác nhau, xử lý thời gian thực và tích hợp hệ thống. Các nhà phát triển đầu tư rất nhiều nỗ lực để đảm bảo model của họ tương tác mượt mà với các hệ sinh thái phần mềm hiện có. Vượt qua những thách thức này là một phần quan trọng để làm cho việc AI deployments trở nên hiệu quả và dễ mở rộng hơn.

Hình 2. Những thách thức trong việc triển khai model.

Đơn giản hóa việc triển khai với Triton Inference Server của NVIDIA#

Tiếp theo, Guy Dahan chuyển sự chú ý sang Triton Inference Server của NVIDIA. Ông chỉ ra rằng nhiều công ty và công ty khởi nghiệp bắt đầu phát triển AI mà không tối ưu hóa hoàn toàn các model của họ. Việc thiết kế lại toàn bộ pipeline AI từ đầu có thể gây gián đoạn và mất thời gian, khiến việc mở rộng quy mô một cách hiệu quả trở nên khó khăn.

Thay vì yêu cầu một cuộc đại tu hệ thống hoàn chỉnh, Triton cho phép các nhà phát triển tinh chỉnh và tối ưu hóa dần dần các luồng công việc AI của họ, tích hợp các thành phần hiệu quả hơn mà không làm hỏng cấu hình hiện tại. Với sự hỗ trợ cho nhiều framework AI, bao gồm TensorFlow, PyTorch, ONNX và TensorRT, Triton cho phép triển khai mượt mà trên môi trường đám mây, trung tâm dữ liệu và các thiết bị biên với những điều chỉnh tối thiểu.

Hình 3. Tổng quan về Triton Inference Server của NVIDIA.

Dưới đây là một số lợi ích chính của Triton Inference Server từ NVIDIA:

• Tự động gộp batch (Automatic batching): Triton nhóm nhiều yêu cầu AI lại với nhau trước khi xử lý, giảm độ trễ và cải thiện tốc độ suy luận (thời gian để một model AI tạo ra kết quả).
• Tích hợp Kubernetes: Triton được xây dựng cho đám mây, nghĩa là nó hoạt động mượt mà với Kubernetes (một hệ thống giúp quản lý và mở rộng các ứng dụng AI trên nhiều máy tính hoặc server đám mây).
• Mã nguồn mở và tùy biến cao: Các nhà phát triển có thể sửa đổi Triton để phù hợp với nhu cầu cụ thể của họ, đảm bảo sự linh hoạt cho nhiều ứng dụng AI đa dạng.

Tối đa hóa hiệu suất AI bằng NVIDIA TensorRT#

Giả sử bạn đang tìm kiếm khả năng tăng tốc mạnh mẽ hơn nữa; NVIDIA TensorRT là một tùy chọn thú vị để tối ưu hóa các AI models của bạn. Guy Dahan giải thích chi tiết rằng TensorRT là một bộ tối ưu hóa deep learning hiệu suất cao được xây dựng cho các GPU NVIDIA. Các model từ TensorFlow, PyTorch, ONNX và MXNet có thể được chuyển đổi thành các tệp có thể thực thi trên GPU hiệu quả cao bằng cách sử dụng TensorRT.

Điều khiến TensorRT trở nên đáng tin cậy là khả năng tối ưu hóa dành riêng cho phần cứng. Một model được tối ưu hóa cho thiết bị Jetson sẽ không hoạt động hiệu quả trên các GPU khác vì TensorRT tinh chỉnh hiệu suất dựa trên phần cứng đích. Một model thị giác máy tính đã được tinh chỉnh có thể giúp tăng tốc độ suy luận lên tới 36 lần so với các model chưa được tối ưu hóa.

Guy Dahan cũng lưu ý sự hỗ trợ của Ultralytics đối với TensorRT, bàn về cách công nghệ này giúp việc triển khai AI model trở nên nhanh chóng và hiệu quả hơn. Các model Ultralytics YOLO có thể được exported trực tiếp sang định dạng TensorRT, cho phép các nhà phát triển tối ưu hóa chúng cho các GPU NVIDIA mà không cần thực hiện bất kỳ thay đổi nào.

DeepStream 7.0: bộ công cụ phân tích streaming#

Kết thúc bài thuyết trình trong bầu không khí tích cực, Guy Dahan đã giới thiệu DeepStream 7.0 - một framework AI được thiết kế để xử lý thời gian thực dữ liệu video, âm thanh và cảm biến bằng cách sử dụng các GPU NVIDIA. Được xây dựng để hỗ trợ các ứng dụng computer vision tốc độ cao, framework này cho phép phát hiện, theo dõi đối tượng và phân tích trên các hệ thống tự động, bảo mật, tự động hóa công nghiệp và thành phố thông minh. Bằng cách chạy AI trực tiếp trên các thiết bị biên, DeepStream loại bỏ sự phụ thuộc vào đám mây, làm giảm độ trễ và nâng cao hiệu quả.

Hình 4. Khám phá DeepStream 7.0 tại YV24 cùng Guy Dahan.

Cụ thể, DeepStream có thể xử lý video dựa trên AI từ đầu đến cuối. Nó hỗ trợ các luồng công việc end-to-end, từ giải mã video và tiền xử lý đến suy luận AI và hậu xử lý.

Gần đây, DeepStream đã giới thiệu một số bản cập nhật để tăng cường triển khai AI, giúp nó dễ tiếp cận và có khả năng mở rộng tốt hơn. Các công cụ mới giúp đơn giản hóa quá trình phát triển, cải thiện theo dõi đa camera và tối ưu hóa các pipeline AI để đạt hiệu suất tốt hơn.

Các nhà phát triển hiện đã có sự hỗ trợ mở rộng cho các môi trường Windows, khả năng tổng hợp cảm biến (sensor fusion) nâng cao để tích hợp dữ liệu từ nhiều nguồn và quyền truy cập vào các ứng dụng tham chiếu được xây dựng sẵn để tăng tốc triển khai. Những cải tiến này giúp DeepStream trở thành một giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, giúp các nhà phát triển mở rộng phân tích video thông minh một cách dễ dàng.

Các điểm chính cần lưu ý#

Như đã minh họa trong bài phát biểu của Guy Dahan tại YV24, Edge AI đang định nghĩa lại các ứng dụng thị giác máy tính. Với những tiến bộ về phần cứng và phần mềm, việc xử lý thời gian thực đang trở nên nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.

Khi ngày càng nhiều ngành công nghiệp áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và độ phức tạp khi triển khai sẽ là chìa khóa để khai thác hết tiềm năng của nó. Việc đón nhận những cải tiến này sẽ thúc đẩy các ứng dụng AI thông minh và nhạy bén hơn, định hình tương lai của thị giác máy tính.

Trở thành một phần của our growing community! Khám phá our GitHub repository để tìm hiểu thêm về AI, và xem qua our licensing options để bắt đầu các dự án vision AI của bạn. Bạn tò mò về các đổi mới như AI in healthcare và computer vision in manufacturing? Hãy truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!