Ultralytics Platform: Triển khai các model thị giác máy tính tới bất kỳ khu vực nào

Đầu tuần này, Ultralytics đã ra mắt Ultralytics Platform, một môi trường end-to-end mới được thiết kế nhằm giúp việc cung cấp các hệ thống thị giác máy tính (CV) nhanh hơn bằng cách hợp lý hóa mọi giai đoạn của quy trình AI thị giác, từ chuẩn bị dữ liệu và phát triển model cho đến triển khai.

Một trong những động lực chính đằng sau việc phát triển Ultralytics Platform là việc đưa một giải pháp thị giác máy tính, cho phép máy móc phân tích hình ảnh và video từ ý tưởng đến thực tế, đòi hỏi nhiều hơn là chỉ xây dựng một model mạnh. Sau khi một model đã được huấn luyện và vượt qua quá trình xác thực, nó phải được triển khai để các ứng dụng có thể gửi hình ảnh, nhận dự đoán và chạy inference một cách tin cậy trong môi trường thực tế.

Giai đoạn này trong vòng đời học máy là nơi các model thị giác máy tính vượt ra ngoài phạm vi thử nghiệm và bắt đầu vận hành các hệ thống thực tiễn. Ngay cả khi các bước trước đó như chuẩn bị tập dữ liệu, gán nhãn, huấn luyện và kiểm thử model diễn ra suôn sẻ, nếu không có cách triển khai model tin cậy, những kết quả đó sẽ không thể tạo ra sự khác biệt.

Thực tế ở nhiều dự án thị giác máy tính là quá trình triển khai có thể là một trong những bước phức tạp nhất trong quy trình làm việc.

Các nhóm thường cần cấu hình các API inference, quản lý tài nguyên tính toán, triển khai model ở gần người dùng để giảm độ trễ và giám sát hiệu suất khi các hệ thống đang chạy trong môi trường production.

Ultralytics Platform hợp lý hóa và tự động hóa quy trình này bằng cách cung cấp nhiều tùy chọn triển khai, bao gồm các định dạng xuất model, dịch vụ inference chia sẻ và các endpoint chuyên dụng trên các khu vực toàn cầu. Với cơ sở hạ tầng được quản lý và tính năng giám sát tích hợp, các nhóm có thể dễ dàng chuyển từ các model đã huấn luyện sang các hệ thống thị giác máy tính sẵn sàng cho môi trường production.

Hình 1. Cái nhìn về việc triển khai các model sử dụng Ultralytics Platform (Nguồn)

Trong bài viết này, chúng ta sẽ khám phá cách triển khai các model thị giác máy tính tới bất kỳ khu vực nào bằng cách sử dụng các endpoint chuyên dụng trên Ultralytics Platform. Hãy bắt đầu ngay thôi!

Link to this sectionTriển khai model CV là gì?#

Trước khi đi sâu vào cách triển khai các model deep learning bằng Ultralytics Platform, hãy hiểu rõ hơn về ý nghĩa thực sự của việc triển khai model thị giác máy tính.

Triển khai model thị giác máy tính là quá trình lấy một model đã được huấn luyện và làm cho nó sẵn sàng để sử dụng trong thực tế. Thay vì chỉ chạy trong môi trường huấn luyện, model được thiết lập để các ứng dụng có thể gửi hình ảnh hoặc video đến và nhận lại các dự đoán.

Ví dụ, một model có thể phát hiện các đối tượng trong hình ảnh, thực hiện phân đoạn hình ảnh, xác định các mặt hàng trong kho hoặc nhận dạng các mẫu trong đoạn phim video. Trong hầu hết các hệ thống thực tế, điều này diễn ra thông qua một API hoặc endpoint inference.

Một ứng dụng gửi hình ảnh đến model, model xử lý hình ảnh đó và trả về kết quả dự đoán trong vòng vài mili giây. Đây chính là điều cho phép các model thị giác máy tính như Ultralytics YOLO vận hành các ứng dụng thời gian thực.

Các model có thể được triển khai trong các môi trường khác nhau tùy thuộc vào trường hợp sử dụng. Một số chạy trên đám mây (thông qua các nền tảng đám mây) và nhiều ứng dụng có thể truy cập chúng, trong khi một số khác chạy trên các thiết bị edge, chẳng hạn như camera tại chỗ, robot hoặc hệ thống nhúng cần dự đoán cục bộ nhanh chóng.

Link to this sectionCác tùy chọn triển khai model AI trên Ultralytics Platform#

Mặc dù Ultralytics Platform giải quyết nhiều thách thức mà cộng đồng thị giác máy tính phải đối mặt, đặc biệt là khi triển khai các model, nền tảng này cung cấp các cách linh hoạt để chạy inference tùy theo nhu cầu ứng dụng của bạn.

Dưới đây là cái nhìn nhanh về các tùy chọn triển khai model có sẵn trên nền tảng:

• Xuất model: Bạn có thể xuất các model sang 17 định dạng khác nhau, bao gồm ONNX, TensorRT, CoreML và TFLite, giúp khả thi việc chạy các model trên nhiều môi trường như các thiết bị edge như Raspberry Pi và NVIDIA Jetson, ứng dụng di động, các Docker container và cơ sở hạ tầng tùy chỉnh.
• Inference chia sẻ: Nền tảng cho phép bạn chạy dự đoán thông qua một dịch vụ inference chia sẻ được quản lý, rất lý tưởng để kiểm thử các model một cách nhanh chóng.
• Các endpoint chuyên dụng: Dễ dàng triển khai các model như các dịch vụ độc lập với các URL API duy nhất có thể chạy trên 43 khu vực toàn cầu, với tính năng tự động mở rộng, giám sát và kiểm tra tình trạng sức khỏe tích hợp cho các hoạt động triển khai production.

Link to this sectionTriển khai sử dụng các endpoint chuyên dụng#

Một trong những cách có khả năng mở rộng nhất để chạy các model đã huấn luyện trước hoặc các model thị giác máy tính tùy chỉnh trong môi trường production trên Ultralytics Platform là thông qua các endpoint chuyên dụng. Một endpoint chuyên dụng cho phép bạn triển khai một model đã huấn luyện như một dịch vụ riêng biệt, để các ứng dụng có thể gửi hình ảnh đến nó và nhận các dự đoán thông qua API.

Thay vì chỉ chạy một model trong môi trường huấn luyện hoặc notebook cục bộ, việc triển khai nó dưới dạng một endpoint giúp nó có thể tiếp cận được với các ứng dụng thực tế. Ví dụ, một hệ thống kho hàng có thể gửi hình ảnh các gói hàng để phát hiện đối tượng, một camera thông minh có thể phân tích các khung hình video hoặc một hệ thống robot có thể sử dụng các dự đoán để hướng dẫn các hành động.

Mỗi endpoint chuyên dụng chạy như một dịch vụ single-tenant, nghĩa là cơ sở hạ tầng chạy model của bạn không được chia sẻ với những người dùng khác. Điều này mang lại hiệu suất dễ dự đoán hơn và giúp việc giám sát cách model vận hành trong môi trường production trở nên dễ dàng hơn.

Link to this sectionHiểu về chức năng của các endpoint inference chuyên dụng#

Bạn có thể coi một endpoint chuyên dụng là một dịch vụ được lưu trữ cho model của bạn. Ultralytics Platform cung cấp một URL endpoint duy nhất đóng vai trò là điểm truy cập cho các ứng dụng.

Khi một ứng dụng gửi yêu cầu đến URL đó, nó sẽ bao gồm một hình ảnh và các tham số tùy chọn như ngưỡng tin cậy hoặc kích thước hình ảnh, cùng với một API key để xác thực.

Dịch vụ chạy inference trên hình ảnh bằng model của bạn và trả về kết quả dự đoán trong một phản hồi có cấu trúc. Thiết lập này cho phép các nhà phát triển tích hợp các model thị giác máy tính vào các hệ thống thực tế bằng cách sử dụng các công cụ web tiêu chuẩn.

Các ứng dụng có thể gửi yêu cầu bằng Python, JavaScript, cURL hoặc các HTTP client khác, giúp dễ dàng kết nối các model với bảng điều khiển, hệ thống robot hoặc ứng dụng đám mây. Vì endpoint chạy độc lập, nó cũng có thể hỗ trợ việc mở rộng, giám sát và triển khai toàn cầu, giúp các nhóm xây dựng các hệ thống thị giác máy tính đáng tin cậy trong môi trường production.

Link to this sectionTriển khai đa khu vực cải thiện inference thời gian thực#

Một ưu điểm chính của các endpoint chuyên dụng trên Ultralytics Platform là khả năng triển khai các model trên 43 khu vực toàn cầu. Các khu vực này trải rộng trên nhiều nơi trên thế giới, bao gồm Bắc Mỹ, Nam Mỹ, Châu Âu, Châu Á - Thái Bình Dương, cùng với Trung Đông và Châu Phi.

Hình 2. Ultralytics Platform hỗ trợ 43 khu vực toàn cầu (Nguồn)

Việc triển khai các model ở các khu vực gần nơi các ứng dụng đang chạy giúp giảm độ trễ, đây là thời gian cần thiết để một ứng dụng gửi hình ảnh và nhận kết quả dự đoán. Nó cũng có thể giúp các tổ chức đáp ứng các yêu cầu về quyền riêng tư và lưu trú dữ liệu bằng cách giữ cho việc xử lý dữ liệu gần với nơi nó bắt nguồn.

Độ trễ thấp rất quan trọng đối với nhiều ứng dụng thị giác máy tính dựa trên inference thời gian thực, chẳng hạn như hệ thống robot, thiết bị Internet of Things (IoT), quy trình kiểm tra công nghiệp và cơ sở hạ tầng thành phố thông minh.

Ví dụ, nếu một ứng dụng đang được sử dụng chủ yếu ở Châu Âu, việc triển khai model ở một khu vực tại Châu Âu có thể cải thiện đáng kể thời gian phản hồi so với việc chạy model ở một khu vực xa xôi.

Link to this sectionCách triển khai tới bất kỳ khu vực nào với Ultralytics Platform#

Việc triển khai một model tới một khu vực cụ thể rất đơn giản và thường chỉ mất vài phút. Nền tảng xử lý phần thiết lập cơ sở hạ tầng để các nhà phát triển có thể tập trung vào việc tích hợp model vào ứng dụng của họ. Hãy cùng xem qua các bước liên quan.

Link to this sectionBước 1: Huấn luyện hoặc tải lên một model#

Trước khi triển khai, bạn cần một model đã được huấn luyện sẵn có trong dự án của mình. Đây có thể là một model được huấn luyện trực tiếp trên Ultralytics Platform, một model được tải lên sau khi huấn luyện ở nơi khác, hoặc một model được sao chép từ một dự án cộng đồng có trong tab “Explore”, nơi các dự án công khai do những người dùng khác chia sẻ có thể được sao chép vào tài khoản của riêng bạn chỉ bằng một cú nhấp chuột.

Khi model đã sẵn sàng, hãy mở trang model đó bên trong dự án của bạn để tiếp tục.

Link to this sectionBước 2: Mở tab Deploy#

Điều hướng đến tab Deploy cho model đó. Phần này của nền tảng cho phép bạn cấu hình và khởi chạy các quá trình triển khai.

Trên trang đó, bạn sẽ thấy một bảng khu vực và một bản đồ tương tác hiển thị các địa điểm triển khai có sẵn trên khắp thế giới. Nền tảng đo lường độ trễ từ vị trí của bạn và sắp xếp các khu vực tương ứng để giúp bạn chọn khu vực phù hợp nhất.

Hình 3. Các khu vực được sắp xếp theo độ trễ trên Ultralytics Platform (Nguồn)

Link to this sectionBước 3: Chọn một khu vực triển khai#

Chọn một khu vực dựa trên nơi đặt người dùng hoặc ứng dụng của bạn. Việc triển khai model gần nguồn yêu cầu hơn có thể giảm đáng kể thời gian phản hồi.

Link to this sectionBước 4: Triển khai endpoint#

Sau khi chọn khu vực và xác nhận cấu hình, bạn có thể nhấp vào Deploy.

Sau đó, nền tảng sẽ chuẩn bị môi trường triển khai, lấy image của model, khởi động dịch vụ và thực hiện kiểm tra tình trạng sức khỏe để đảm bảo endpoint đã sẵn sàng. Quy trình này thường mất khoảng một đến hai phút.

Khi việc triển khai hoàn tất, nền tảng sẽ tạo một URL endpoint duy nhất mà các ứng dụng có thể sử dụng để gửi các yêu cầu inference.

Hình 4. Một ví dụ về một endpoint đã triển khai (Nguồn)

Link to this sectionBước 5: Bắt đầu gửi các yêu cầu inference#

Khi endpoint đang chạy, các ứng dụng có thể bắt đầu gửi hình ảnh đến model bằng cách sử dụng REST API endpoint được cung cấp và API key được truyền trong Authorization header. Endpoint sẽ xử lý từng yêu cầu và trả về kết quả dự đoán như các đối tượng được phát hiện, bounding boxes hoặc các kết quả đầu ra cụ thể khác của tác vụ.

Để biết thêm chi tiết liên quan đến việc triển khai model, hãy xem tài liệu chính thức về Ultralytics Platform.

Link to this sectionGiám sát hiệu suất và các chỉ số của model cho các endpoint đã triển khai#

Khi một model thị giác máy tính được triển khai, việc giám sát hiệu suất của nó trở thành một phần quan trọng để duy trì độ tin cậy và tính ổn định của hệ thống. Ngay cả một model đã được huấn luyện tốt cũng cần được quan sát trong môi trường production để đảm bảo nó tiếp tục phản hồi nhanh, xử lý các yêu cầu đến một cách chính xác và đưa ra các dự đoán đáng tin cậy.

Ultralytics Platform cung cấp các công cụ giám sát tích hợp giúp các nhóm có cái nhìn rõ ràng về cách các endpoint đã triển khai đang hoạt động. Trang Deploy của nền tảng đóng vai trò như một bảng điều khiển giám sát, cung cấp cái nhìn tập trung về tất cả các endpoint đang chạy cùng với các chỉ số chính giúp theo dõi sức khỏe và mức độ sử dụng của hệ thống.

Dưới đây là một số chỉ số bạn có thể giám sát bằng cách sử dụng Platform:

• P95 latency: Chỉ số này đo thời gian phản hồi ở phía máy chủ tại phân vị thứ 95 cho các yêu cầu inference. Nó cung cấp cái nhìn sâu sắc về thời gian phản hồi của hầu hết các yêu cầu inference và xác định các điểm chậm trễ về hiệu suất.
• Error rate: Chỉ số này đại diện cho tỷ lệ phần trăm các yêu cầu bị lỗi hoặc trả về kết quả lỗi trong cửa sổ giám sát đã chọn. Việc giám sát tỷ lệ lỗi giúp các nhóm phát hiện nhanh các sự cố với việc triển khai hoặc các yêu cầu đến.
• Total requests: Chỉ số này hiển thị tổng số yêu cầu inference đã được xử lý trên các endpoint đã triển khai trong khoảng thời gian đã chọn (ví dụ: 24 giờ qua). Nó hỗ trợ các nhóm trong việc hiểu các mức độ lưu lượng truy cập và mức độ thường xuyên mà các model của họ đang được sử dụng.

Ngoài các chỉ số này, nền tảng còn cung cấp các bài kiểm tra tình trạng sức khỏe của endpoint và nhật ký triển khai. Các bài kiểm tra tình trạng sức khỏe cho biết liệu một endpoint có đang phản hồi chính xác hay không, trong khi các nhật ký cung cấp thông tin chi tiết về các yêu cầu gần đây và hoạt động của hệ thống.

Link to this sectionCác điểm chính cần lưu ý#

Triển khai các model thị giác máy tính là một bước quan trọng trong việc biến các model đã huấn luyện thành các hệ thống vận hành các ứng dụng thực tế. Với Ultralytics Platform, các nhóm có thể dễ dàng triển khai các model thông qua các endpoint chuyên dụng trên 43 khu vực toàn cầu, chạy inference thời gian thực thông qua các API và giám sát hiệu suất từ một môi trường duy nhất. Bằng cách kết hợp các tùy chọn triển khai linh hoạt, tính năng giám sát tích hợp và cơ sở hạ tầng có thể mở rộng, nền tảng giúp các nhà phát triển chuyển từ các model học máy đã huấn luyện sang các ứng dụng thị giác máy tính đáng tin cậy nhanh chóng hơn.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Truy cập kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Nếu bạn đang tìm cách xây dựng các giải pháp thị giác máy tính, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá những lợi ích của thị giác máy tính trong y tế và xem cách AI trong logistics đang tạo ra sự khác biệt!