Triển khai các ứng dụng thị giác máy tính trên thiết bị Edge AI

Nhờ những tiến bộ gần đây trong thị giác máy tính và trí tuệ nhân tạo (AI), lĩnh vực từng chỉ dừng ở mức nghiên cứu giờ đây đang thúc đẩy các ứng dụng đầy tác động trên nhiều ngành công nghiệp. Từ xe tự lái đến chẩn đoán hình ảnh y tế và an ninh, các hệ thống thị giác máy tính đang giải quyết những bài toán thực tế trên quy mô lớn.

Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực, và việc dựa vào điện toán đám mây không phải lúc nào cũng khả thi do các vấn đề về độ trễ, chi phí và quyền riêng tư. Edge AI là giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy các model AI thị giác trực tiếp trên các thiết bị biên, các doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm chi phí hơn và bảo mật tốt hơn, giúp AI thời gian thực trở nên dễ tiếp cận hơn.

Trong sự kiện YOLO Vision 2024 (YV24), sự kiện kết hợp trực tiếp và trực tuyến thường niên do Ultralytics tổ chức, một trong những chủ đề trung tâm là dân chủ hóa vision AI bằng cách làm cho việc triển khai trở nên thân thiện và hiệu quả hơn với người dùng. Guy Dahan, Kiến trúc sư Giải pháp Cấp cao tại NVIDIA, đã thảo luận về cách các giải pháp phần cứng và phần mềm của NVIDIA, bao gồm các thiết bị điện toán biên, server suy luận, framework tối ưu hóa và SDK triển khai AI, đang giúp các nhà phát triển tối ưu hóa AI tại biên.

Trong bài viết này, chúng ta sẽ khám phá những điểm chính từ bài phát biểu chủ đạo của Guy Dahan tại YV24 và cách các cải tiến mới nhất của NVIDIA đang giúp việc triển khai vision AI nhanh chóng và có khả năng mở rộng tốt hơn.

Link to this sectionEdge AI là gì?#

Guy Dahan bắt đầu bài nói của mình bằng cách bày tỏ sự hào hứng khi tham gia YV24 qua hình thức trực tuyến và sự quan tâm đến gói thư viện Python của Ultralytics cũng như các YOLO models từ Ultralytics, ông chia sẻ: "Tôi đã sử dụng Ultralytics kể từ ngày nó ra mắt. Tôi thực sự thích Ultralytics - tôi đã sử dụng YOLOv5 từ trước đó, và tôi là một người thực sự đam mê gói thư viện này."

Sau đó, ông giới thiệu khái niệm về Edge AI, giải thích rằng nó liên quan đến việc chạy các tính toán AI trực tiếp trên các thiết bị như camera, máy bay không người lái hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các server đám mây ở xa để xử lý.

Thay vì phải chờ đợi hình ảnh hoặc video được tải lên, phân tích và sau đó gửi lại kết quả, Edge AI giúp việc phân tích dữ liệu ngay tức thì trên chính thiết bị trở nên khả thi. Điều này làm cho các hệ thống vision AI nhanh hơn, hiệu quả hơn và ít phụ thuộc hơn vào kết nối internet. Edge AI đặc biệt hữu ích cho các ứng dụng ra quyết định thời gian thực như xe tự lái, camera an ninh và nhà máy thông minh.

Link to this sectionNhững lợi ích chính của Edge AI#

Sau khi giới thiệu về Edge AI, Guy Dahan nhấn mạnh những ưu điểm chính của nó, tập trung vào hiệu suất, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp - vì các model AI xử lý dữ liệu trực tiếp trên thiết bị, nên không cần gửi thông tin lên đám mây và chờ đợi phản hồi.

Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Việc gửi khối lượng dữ liệu lớn lên đám mây, đặc biệt là các luồng video, có thể rất tốn kém. Tuy nhiên, xử lý dữ liệu tại chỗ giúp giảm chi phí băng thông và lưu trữ.

Một ưu điểm then chốt khác là data privacy vì thông tin được lưu lại trên thiết bị thay vì bị truyền đến một server bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng chăm sóc sức khỏe, tài chính và an ninh, nơi việc giữ dữ liệu cục bộ và an toàn là ưu tiên hàng đầu.

Hình 1. Guy Dahan thuyết trình từ xa tại YV24 về những lợi ích của Edge AI.

Dựa trên những lợi ích này, Guy Dahan đã bình luận về việc áp dụng ngày càng rộng rãi của Edge AI. Ông lưu ý rằng kể từ khi NVIDIA giới thiệu Jetson vào năm 2014, mức độ sử dụng đã tăng gấp mười lần. Hiện nay, hơn 1,2 triệu nhà phát triển đang làm việc với các thiết bị Jetson.

Link to this sectionTổng quan về NVIDIA Jetson: một thiết bị Edge AI#

Guy Dahan sau đó tập trung vào NVIDIA Jetson devices, một dòng thiết bị điện toán biên AI được thiết kế để mang lại hiệu suất cao với mức tiêu thụ điện năng thấp. Các thiết bị Jetson là lựa chọn lý tưởng cho các ứng dụng thị giác máy tính trong các lĩnh vực như robot, nông nghiệp, chăm sóc sức khỏe và tự động hóa công nghiệp. "Jetson là các thiết bị Edge AI được thiết kế riêng cho AI. Tôi có thể nói thêm rằng ban đầu chúng chủ yếu được thiết kế cho thị giác máy tính," Guy Dahan bổ sung.

Các thiết bị Jetson được chia thành ba phân khúc, mỗi phân khúc phù hợp với những nhu cầu khác nhau:

• Entry-level: Những thiết bị này cung cấp hiệu suất AI từ 20 - 40 nghìn tỷ phép tính mỗi giây (TOPS) với mức tiêu thụ điện năng từ 10 - 15W, trở thành lựa chọn hợp lý cho các ứng dụng tại biên.
• Mainstream: Cân bằng giữa hiệu suất và hiệu quả, cung cấp từ 70 - 200 TOPS với mức tiêu thụ điện năng từ 20 - 40W, phù hợp cho các khối lượng công việc AI tầm trung.
• High-performance: Cung cấp lên tới 275 TOPS với mức tiêu thụ điện năng từ 60 - 75W, được thiết kế cho các ứng dụng AI đòi hỏi khắt khe như robot và tự động hóa.

Ngoài ra, Guy Dahan chia sẻ về Jetson AGX Thor sắp ra mắt trong năm nay và cho biết nó sẽ cung cấp hiệu suất GPU (Bộ xử lý đồ họa) gấp tám lần, dung lượng bộ nhớ gấp đôi và hiệu suất CPU (Bộ xử lý trung tâm) được cải thiện. Nó được thiết kế đặc biệt cho robot hình người và các ứng dụng Edge AI tiên tiến.

Link to this sectionCác thách thức liên quan đến việc triển khai các model thị giác máy tính#

Guy Dahan sau đó chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả với phần cứng mạnh mẽ, việc triển khai các model một cách hiệu quả vẫn có thể là một thách thức.

Một trong những rào cản lớn nhất là tính tương thích, vì các nhà phát triển AI thường làm việc với các AI frameworks khác nhau như PyTorch và TensorFlow. Việc chuyển đổi giữa các framework này có thể gây khó khăn, đòi hỏi các nhà phát triển phải tái tạo môi trường để đảm bảo mọi thứ chạy chính xác.

Khả năng mở rộng là một thách thức chính khác. Các model AI đòi hỏi sức mạnh tính toán đáng kể, và như Dahan đã nói, "Chưa từng có công ty AI nào muốn ít tài nguyên tính toán hơn." Việc mở rộng các ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên đắt đỏ, khiến việc tối ưu hóa trở nên thiết yếu.

Ngoài ra, các pipeline AI rất phức tạp, thường bao gồm các loại dữ liệu khác nhau, xử lý thời gian thực và tích hợp hệ thống. Các nhà phát triển bỏ ra rất nhiều công sức để đảm bảo các model của họ tương tác mượt mà với các hệ sinh thái phần mềm hiện có. Vượt qua những thách thức này là một phần quan trọng trong việc làm cho AI deployments trở nên hiệu quả và có khả năng mở rộng hơn.

Hình 2. Những thách thức trong việc triển khai model.

Link to this sectionĐơn giản hóa việc triển khai với Triton Inference Server của NVIDIA#

Tiếp theo, Guy Dahan chuyển sự chú ý sang Triton Inference Server của NVIDIA. Ông chỉ ra rằng nhiều công ty và startup bắt đầu phát triển AI mà không tối ưu hóa hoàn toàn các model của họ. Việc thiết kế lại toàn bộ pipeline AI từ đầu có thể gây gián đoạn và tốn thời gian, khiến việc mở rộng một cách hiệu quả trở nên khó khăn.

Thay vì yêu cầu một cuộc đại tu hệ thống hoàn chỉnh, Triton cho phép các nhà phát triển tinh chỉnh và tối ưu hóa dần dần các luồng công việc AI của họ, tích hợp các thành phần hiệu quả hơn mà không làm hỏng cấu hình hiện tại. Với sự hỗ trợ cho nhiều framework AI, bao gồm TensorFlow, PyTorch, ONNX và TensorRT, Triton cho phép triển khai mượt mà trên môi trường đám mây, trung tâm dữ liệu và các thiết bị biên với những điều chỉnh tối thiểu.

Hình 3. Tổng quan về Triton Inference Server của NVIDIA.

Dưới đây là một số lợi ích chính của Triton Inference Server từ NVIDIA:

• Tự động gộp batch (Automatic batching): Triton nhóm nhiều yêu cầu AI lại với nhau trước khi xử lý, giảm độ trễ và cải thiện tốc độ suy luận (thời gian để một model AI tạo ra kết quả).
• Tích hợp Kubernetes: Triton được xây dựng cho đám mây, nghĩa là nó hoạt động mượt mà với Kubernetes (một hệ thống giúp quản lý và mở rộng các ứng dụng AI trên nhiều máy tính hoặc server đám mây).
• Mã nguồn mở và tùy biến cao: Các nhà phát triển có thể sửa đổi Triton để phù hợp với nhu cầu cụ thể của họ, đảm bảo sự linh hoạt cho nhiều ứng dụng AI đa dạng.

Link to this sectionTối đa hóa hiệu suất AI bằng NVIDIA TensorRT#

Giả sử bạn đang tìm kiếm khả năng tăng tốc mạnh mẽ hơn nữa; NVIDIA TensorRT là một lựa chọn thú vị để tối ưu hóa các model AI của bạn. Guy Dahan giải thích rằng TensorRT là một trình tối ưu hóa deep learning hiệu suất cao được xây dựng cho các GPU NVIDIA. Các model từ TensorFlow, PyTorch, ONNX và MXNet có thể được chuyển đổi thành các tệp có thể thực thi hiệu quả trên GPU bằng TensorRT.

Điều khiến TensorRT trở nên đáng tin cậy là khả năng tối ưu hóa dành riêng cho phần cứng. Một model được tối ưu hóa cho thiết bị Jetson sẽ không hoạt động hiệu quả trên các GPU khác vì TensorRT tinh chỉnh hiệu suất dựa trên phần cứng đích. Một model thị giác máy tính đã được tinh chỉnh có thể giúp tăng tốc độ suy luận lên tới 36 lần so với các model chưa được tối ưu hóa.

Guy Dahan cũng thu hút sự chú ý đến việc Ultralytics hỗ trợ TensorRT, chia sẻ cách nó giúp việc triển khai model AI trở nên nhanh chóng và hiệu quả hơn. Các model Ultralytics YOLO có thể được xuất trực tiếp sang định dạng TensorRT, cho phép các nhà phát triển tối ưu hóa chúng cho GPU NVIDIA mà không cần thực hiện bất kỳ thay đổi nào.

Link to this sectionDeepStream 7.0: bộ công cụ phân tích streaming#

Kết thúc bài nói trên một ghi chú đầy cảm hứng, Guy Dahan đã giới thiệu DeepStream 7.0 - một framework AI được thiết kế để xử lý thời gian thực video, âm thanh và dữ liệu cảm biến sử dụng GPU NVIDIA. Được xây dựng để hỗ trợ các ứng dụng thị giác máy tính tốc độ cao, nó cho phép phát hiện, theo dõi đối tượng và phân tích trên các hệ thống tự hành, an ninh, tự động hóa công nghiệp và thành phố thông minh. Bằng cách chạy AI trực tiếp trên các thiết bị biên, DeepStream loại bỏ sự phụ thuộc vào đám mây, giảm độ trễ và cải thiện hiệu suất.

Hình 4. Khám phá DeepStream 7.0 tại YV24 cùng Guy Dahan.

Cụ thể, DeepStream có thể xử lý video dựa trên AI từ đầu đến cuối. Nó hỗ trợ các luồng công việc end-to-end, từ giải mã video và tiền xử lý đến suy luận AI và hậu xử lý.

Gần đây, DeepStream đã giới thiệu một số bản cập nhật để tăng cường triển khai AI, giúp nó dễ tiếp cận và có khả năng mở rộng tốt hơn. Các công cụ mới giúp đơn giản hóa quá trình phát triển, cải thiện theo dõi đa camera và tối ưu hóa các pipeline AI để đạt hiệu suất tốt hơn.

Các nhà phát triển hiện đã có sự hỗ trợ mở rộng cho các môi trường Windows, khả năng tổng hợp cảm biến (sensor fusion) nâng cao để tích hợp dữ liệu từ nhiều nguồn và quyền truy cập vào các ứng dụng tham chiếu được xây dựng sẵn để tăng tốc triển khai. Những cải tiến này giúp DeepStream trở thành một giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, giúp các nhà phát triển mở rộng phân tích video thông minh một cách dễ dàng.

Link to this sectionCác điểm chính cần lưu ý#

Như đã minh họa trong bài phát biểu của Guy Dahan tại YV24, Edge AI đang định nghĩa lại các ứng dụng thị giác máy tính. Với những tiến bộ về phần cứng và phần mềm, việc xử lý thời gian thực đang trở nên nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.

Khi ngày càng nhiều ngành công nghiệp áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và độ phức tạp khi triển khai sẽ là chìa khóa để khai thác hết tiềm năng của nó. Việc đón nhận những cải tiến này sẽ thúc đẩy các ứng dụng AI thông minh và nhạy bén hơn, định hình tương lai của thị giác máy tính.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI, và xem qua các tùy chọn cấp phép của chúng tôi để bắt đầu các dự án vision AI của bạn. Bạn tò mò về các cải tiến như AI trong chăm sóc sức khỏe và thị giác máy tính trong sản xuất? Hãy truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!