Ngày 4 tháng 2 năm 2025
Tìm hiểu cách Edge AI và những đổi mới của NVIDIA, như Jetson, Triton và TensorRT, đang đơn giản hóa việc triển khai các ứng dụng thị giác máy tính.
Nhờ những tiến bộ gần đây trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo (AI), lĩnh vực từng chỉ là nghiên cứu này hiện đang thúc đẩy các ứng dụng có tác động lớn trong nhiều ngành công nghiệp. Từ xe tự lái đến hình ảnh y tế và an ninh, các hệ thống thị giác máy tính đang giải quyết các vấn đề thực tế trên quy mô lớn.
Nhiều ứng dụng trong số này liên quan đến việc phân tích hình ảnh và video theo thời gian thực và việc dựa vào điện toán đám mây không phải lúc nào cũng thiết thực do độ trễ, chi phí và các vấn đề về quyền riêng tư. Edge AI là một giải pháp tuyệt vời trong những tình huống này. Bằng cách chạy các mô hình Vision AI trực tiếp trên các thiết bị edge, các doanh nghiệp có thể xử lý dữ liệu nhanh hơn, tiết kiệm chi phí hơn và bảo mật hơn, giúp AI thời gian thực trở nên dễ tiếp cận hơn.
Trong YOLO Vision 2024 (YV24), sự kiện kết hợp thường niên do Ultralytics tổ chức, một trong những chủ đề chính là dân chủ hóa Vision AI bằng cách làm cho việc triển khai trở nên thân thiện và hiệu quả hơn với người dùng. Guy Dahan, Kiến trúc sư Giải pháp Cấp cao tại NVIDIA, đã thảo luận về cách các giải pháp phần cứng và phần mềm của NVIDIA, bao gồm các thiết bị điện toán biên, máy chủ suy luận, khung tối ưu hóa và SDK triển khai AI, đang giúp các nhà phát triển tối ưu hóa AI ở biên.
Trong bài viết này, chúng ta sẽ khám phá những điểm chính trong bài phát biểu quan trọng YV24 của Guy Dahan và cách những đổi mới mới nhất của NVIDIA đang giúp việc triển khai Vision AI nhanh hơn và có khả năng mở rộng hơn.
Guy Dahan bắt đầu bài nói chuyện của mình bằng cách bày tỏ sự nhiệt tình khi tham gia YV24 một cách ảo và sự quan tâm của ông đối với gói Ultralytics Python và các mô hình YOLO Ultralytics, nói rằng, "Tôi đã sử dụng Ultralytics kể từ ngày nó ra mắt. Tôi thực sự thích Ultralytics - Tôi đã sử dụng YOLOv5 ngay cả trước đó, và tôi là một người rất nhiệt tình với gói này."
Sau đó, ông giới thiệu khái niệm Edge AI, giải thích rằng nó liên quan đến việc chạy các tính toán AI trực tiếp trên các thiết bị như máy ảnh, máy bay không người lái hoặc máy móc công nghiệp, thay vì gửi dữ liệu đến các máy chủ đám mây ở xa để xử lý.
Thay vì chờ hình ảnh hoặc video được tải lên, phân tích và sau đó gửi lại kết quả, Edge AI giúp bạn có thể phân tích dữ liệu ngay lập tức trên chính thiết bị. Điều này làm cho các hệ thống Vision AI nhanh hơn, hiệu quả hơn và ít phụ thuộc hơn vào kết nối internet. Edge AI đặc biệt hữu ích cho các ứng dụng ra quyết định theo thời gian thực, chẳng hạn như xe tự lái, camera an ninh và nhà máy thông minh.
Sau khi giới thiệu về Edge AI, Guy Dahan đã nhấn mạnh những ưu điểm chính của nó, tập trung vào hiệu quả, tiết kiệm chi phí và bảo mật dữ liệu. Ông giải thích rằng một trong những lợi ích lớn nhất là độ trễ thấp - vì các mô hình AI xử lý dữ liệu trực tiếp trên thiết bị nên không cần gửi thông tin lên đám mây và chờ phản hồi.
Edge AI cũng giúp giảm chi phí và bảo vệ dữ liệu nhạy cảm. Việc gửi một lượng lớn dữ liệu lên đám mây, đặc biệt là các luồng video, có thể tốn kém. Tuy nhiên, việc xử lý cục bộ sẽ giảm chi phí băng thông và lưu trữ.
Một ưu điểm chính khác là quyền riêng tư dữ liệu vì thông tin vẫn còn trên thiết bị thay vì được chuyển đến máy chủ bên ngoài. Điều này đặc biệt quan trọng đối với các ứng dụng chăm sóc sức khỏe, tài chính và bảo mật, nơi việc giữ dữ liệu cục bộ và an toàn là ưu tiên hàng đầu.
Dựa trên những lợi ích này, Guy Dahan đã nhận xét về việc ngày càng có nhiều người chấp nhận Edge AI. Ông lưu ý rằng kể từ khi NVIDIA giới thiệu Jetson vào năm 2014, mức sử dụng đã tăng gấp mười lần. Ngày nay, hơn 1,2 triệu nhà phát triển đang làm việc với các thiết bị Jetson.
Sau đó, Guy Dahan tập trung vào các thiết bị NVIDIA Jetson, một dòng thiết bị điện toán biên AI được thiết kế để mang lại hiệu suất cao với mức tiêu thụ điện năng thấp. Các thiết bị Jetson rất lý tưởng cho các ứng dụng thị giác máy tính trong các lĩnh vực như robot, nông nghiệp, chăm sóc sức khỏe và tự động hóa công nghiệp. Guy Dahan nói thêm: "Jetsons là các thiết bị Edge AI được thiết kế đặc biệt cho AI. Tôi thậm chí có thể nói thêm rằng ban đầu chúng được thiết kế chủ yếu cho thị giác máy tính."
Các thiết bị Jetson có ba cấp độ, mỗi cấp độ phù hợp với các nhu cầu khác nhau:
Ngoài ra, Guy Dahan đã chia sẻ về Jetson AGX Thor sắp ra mắt trong năm nay và cho biết nó sẽ cung cấp hiệu suất GPU (Graphics Processing Unit - Bộ xử lý đồ họa) gấp tám lần, dung lượng bộ nhớ gấp đôi và hiệu suất CPU (Central Processing Unit - Bộ xử lý trung tâm) được cải thiện. Nó được thiết kế đặc biệt cho robot hình người và các ứng dụng Edge AI tiên tiến.
Sau đó, Guy Dahan chuyển sang thảo luận về khía cạnh phần mềm của Edge AI và giải thích rằng ngay cả với phần cứng mạnh mẽ, việc triển khai các mô hình một cách hiệu quả có thể là một thách thức.
Một trong những trở ngại lớn nhất là khả năng tương thích, vì các nhà phát triển AI thường làm việc với các framework AI khác nhau như PyTorch và TensorFlow. Việc di chuyển giữa các framework này có thể khó khăn, đòi hỏi các nhà phát triển phải tạo lại môi trường để đảm bảo mọi thứ chạy chính xác.
Khả năng mở rộng là một thách thức quan trọng khác. Các mô hình AI đòi hỏi sức mạnh tính toán đáng kể và như Dahan đã nói, "Chưa bao giờ có một công ty AI nào muốn ít tính toán hơn." Việc mở rộng các ứng dụng AI trên nhiều thiết bị có thể nhanh chóng trở nên tốn kém, khiến việc tối ưu hóa trở nên cần thiết.
Ngoài ra, các AI pipeline (quy trình AI) rất phức tạp, thường liên quan đến các loại dữ liệu khác nhau, xử lý thời gian thực và tích hợp hệ thống. Các nhà phát triển nỗ lực rất nhiều để đảm bảo các mô hình của họ tương tác liền mạch với các hệ sinh thái phần mềm hiện có. Vượt qua những thách thức này là một phần quan trọng để làm cho các triển khai AI hiệu quả và có khả năng mở rộng hơn.
Tiếp theo, Guy Dahan chuyển sự chú ý của mình sang Triton Inference Server của NVIDIA. Ông chỉ ra rằng nhiều công ty và công ty khởi nghiệp bắt đầu phát triển AI mà không tối ưu hóa hoàn toàn các mô hình của họ. Việc thiết kế lại toàn bộ quy trình AI từ đầu có thể gây gián đoạn và tốn thời gian, gây khó khăn cho việc mở rộng quy mô một cách hiệu quả.
Thay vì yêu cầu đại tu toàn bộ hệ thống, Triton cho phép các nhà phát triển dần dần tinh chỉnh và tối ưu hóa quy trình AI của họ, tích hợp các thành phần hiệu quả hơn mà không làm hỏng thiết lập hiện có của họ. Với sự hỗ trợ cho nhiều framework AI, bao gồm TensorFlow, PyTorch, ONNX và TensorRT, Triton cho phép triển khai liền mạch trên các môi trường đám mây, trung tâm dữ liệu và thiết bị biên với các điều chỉnh tối thiểu.
Dưới đây là một số ưu điểm chính của NVIDIA’s Triton Inference Server:
Giả sử bạn đang tìm kiếm khả năng tăng tốc hơn nữa; NVIDIA TensorRT là một tùy chọn thú vị để tối ưu hóa các mô hình AI của bạn. Guy Dahan giải thích rằng TensorRT là một trình tối ưu hóa học sâu hiệu suất cao được xây dựng cho GPU NVIDIA. Các mô hình từ TensorFlow, PyTorch, ONNX và MXNet có thể được chuyển đổi thành các tệp có thể thực thi trên GPU hiệu quả cao bằng TensorRT.
Điều khiến TensorRT trở nên đáng tin cậy là các tối ưu hóa dành riêng cho phần cứng của nó. Một mô hình được tối ưu hóa cho các thiết bị Jetson sẽ không hoạt động hiệu quả trên các GPU khác vì TensorRT tinh chỉnh hiệu suất dựa trên phần cứng mục tiêu. Một mô hình computer vision được tinh chỉnh có thể làm tăng tốc độ suy luận lên đến 36 lần so với các mô hình chưa được tối ưu hóa.
Guy Dahan cũng đề cập đến sự hỗ trợ của Ultralytics cho TensorRT, nói về cách nó giúp triển khai mô hình AI nhanh hơn và hiệu quả hơn. Các mô hình Ultralytics YOLO có thể được xuất trực tiếp sang định dạng TensorRT, cho phép các nhà phát triển tối ưu hóa chúng cho GPU NVIDIA mà không cần thực hiện bất kỳ thay đổi nào.
Kết thúc bài nói chuyện một cách tốt đẹp, Guy Dahan đã giới thiệu DeepStream 7.0 - một framework AI được thiết kế để xử lý theo thời gian thực dữ liệu video, âm thanh và cảm biến bằng cách sử dụng GPU NVIDIA. Được xây dựng để hỗ trợ các ứng dụng computer vision (thị giác máy tính) tốc độ cao, nó cho phép object detection (phát hiện đối tượng), tracking (theo dõi) và phân tích trên các hệ thống tự động, an ninh, tự động hóa công nghiệp và các thành phố thông minh. Bằng cách chạy AI trực tiếp trên các thiết bị edge, DeepStream loại bỏ sự phụ thuộc vào cloud (đám mây), giảm độ trễ và cải thiện hiệu quả.
Cụ thể, DeepStream có thể xử lý quá trình xử lý video bằng AI từ đầu đến cuối. Nó hỗ trợ các quy trình làm việc end-to-end, từ giải mã và tiền xử lý video đến suy luận AI và hậu xử lý.
Gần đây, DeepStream đã giới thiệu một số bản cập nhật để tăng cường triển khai AI, giúp nó dễ tiếp cận và có khả năng mở rộng hơn. Các công cụ mới đơn giản hóa quá trình phát triển, cải thiện khả năng theo dõi đa camera và tối ưu hóa các quy trình AI để có hiệu suất tốt hơn.
Giờ đây, các nhà phát triển đã có được sự hỗ trợ mở rộng cho môi trường Windows, khả năng hợp nhất cảm biến nâng cao để tích hợp dữ liệu từ nhiều nguồn và quyền truy cập vào các ứng dụng tham chiếu dựng sẵn để tăng tốc triển khai. Những cải tiến này làm cho DeepStream trở thành một giải pháp linh hoạt và hiệu quả hơn cho các ứng dụng AI thời gian thực, giúp các nhà phát triển dễ dàng mở rộng quy mô phân tích video thông minh.
Như được minh họa trong bài phát biểu quan trọng của Guy Dahan tại YV24, Edge AI đang định nghĩa lại các ứng dụng thị giác máy tính. Với những tiến bộ trong phần cứng và phần mềm, quá trình xử lý thời gian thực đang trở nên nhanh hơn, hiệu quả hơn và tiết kiệm chi phí hơn.
Khi ngày càng có nhiều ngành công nghiệp áp dụng Edge AI, việc giải quyết các thách thức như phân mảnh và độ phức tạp trong triển khai sẽ là chìa khóa để khai thác toàn bộ tiềm năng của nó. Việc chấp nhận những đổi mới này sẽ thúc đẩy các ứng dụng AI thông minh hơn, phản hồi nhanh hơn, định hình tương lai của thị giác máy tính.
Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI và xem các tùy chọn cấp phép của chúng tôi để khởi động các dự án Vision AI của bạn. Bạn có tò mò về những đổi mới như AI trong chăm sóc sức khỏe và thị giác máy tính trong sản xuất? Hãy truy cập các trang giải pháp của chúng tôi để tìm hiểu thêm!
.webp)