Ultralytics Platform: Triển khai model thị giác máy tính đến mọi region

Đầu tuần này, Ultralytics đã ra mắt Ultralytics Platform, một môi trường end-to-end mới được thiết kế để đẩy nhanh việc đưa các hệ thống thị giác máy tính (CV) vào vận hành bằng cách tinh gọn mọi giai đoạn trong workflow AI thị giác, từ chuẩn bị dữ liệu và phát triển model đến triển khai.

Một trong những động lực chính đằng sau việc phát triển Ultralytics Platform là việc đưa một giải pháp thị giác máy tính, cho phép máy móc phân tích hình ảnh và video, từ ý tưởng đến khi tạo ra tác động thực tế đòi hỏi nhiều hơn việc xây dựng một model mạnh. Sau khi model được training và vượt qua bước validation, model phải được triển khai để các ứng dụng có thể gửi hình ảnh, nhận predictions và chạy inference một cách đáng tin cậy trong môi trường thực tế.

Giai đoạn này trong vòng đời machine learning là lúc các model thị giác máy tính vượt ra khỏi phạm vi thử nghiệm và bắt đầu vận hành các hệ thống thực tế. Ngay cả khi những bước trước đó như chuẩn bị dataset, annotation, training model và testing diễn ra suôn sẻ, nếu không có cách triển khai model đáng tin cậy thì những kết quả đó cũng không thể tạo ra khác biệt.

Thực tế ở nhiều dự án thị giác máy tính là triển khai có thể là một trong những bước phức tạp nhất trong workflow.

Các team thường cần cấu hình inference API, quản lý tài nguyên compute, triển khai model gần người dùng để giảm latency và theo dõi hiệu năng sau khi hệ thống chạy trong production.

Ultralytics Platform tinh gọn và tự động hóa quy trình này bằng cách cung cấp nhiều tùy chọn triển khai, bao gồm các định dạng export model, shared inference service và dedicated endpoint trên các khu vực toàn cầu. Với hạ tầng được quản lý và tính năng monitoring tích hợp sẵn, các team có thể dễ dàng chuyển từ model đã training sang các hệ thống thị giác máy tính sẵn sàng cho production.

Hình 1. Tổng quan về việc triển khai model bằng Ultralytics Platform (Nguồn)

Trong bài viết này, chúng ta sẽ khám phá cách triển khai model thị giác máy tính đến mọi khu vực bằng dedicated endpoint trên Ultralytics Platform. Hãy bắt đầu!

Triển khai model CV là gì?#

Trước khi tìm hiểu cách triển khai model deep learning bằng Ultralytics Platform, hãy cùng hiểu rõ hơn triển khai model thị giác máy tính thực sự có nghĩa là gì.

Triển khai model thị giác máy tính là quy trình đưa một model đã training vào sử dụng trong thực tế. Thay vì chỉ chạy trong môi trường training, model được thiết lập để các ứng dụng có thể gửi hình ảnh hoặc video đến model và nhận predictions trả về.

Ví dụ, một model có thể phát hiện đối tượng trong hình ảnh, thực hiện image segmentation, nhận diện các mặt hàng trong kho hoặc nhận dạng pattern trong video. Trong hầu hết các hệ thống thực tế, quy trình này diễn ra thông qua API hoặc inference endpoint.

Ứng dụng gửi một hình ảnh đến model, model xử lý hình ảnh và trả về prediction trong vài mili giây. Đây là yếu tố cho phép các model thị giác máy tính như Ultralytics YOLO hỗ trợ các ứng dụng real-time.

Model có thể được triển khai trong các môi trường khác nhau tùy theo use case. Một số model chạy trên cloud (thông qua các nền tảng cloud) để nhiều ứng dụng có thể truy cập, trong khi những model khác chạy trên edge device, chẳng hạn như camera on-premise, robot hoặc hệ thống nhúng cần predictions cục bộ nhanh.

Các tùy chọn triển khai AI model trên Ultralytics Platform#

Mặc dù Ultralytics Platform giải quyết nhiều thách thức mà cộng đồng thị giác máy tính gặp phải, đặc biệt là trong việc triển khai model, nền tảng này cung cấp các phương thức linh hoạt để chạy inference tùy theo nhu cầu của ứng dụng.

Dưới đây là tổng quan nhanh về các tùy chọn triển khai model hiện có trên nền tảng:

• Export model: Bạn có thể export model sang 17 định dạng khác nhau, bao gồm ONNX, TensorRT, CoreML và TFLite, cho phép chạy model trên nhiều môi trường như edge device, chẳng hạn Raspberry Pi và NVIDIA Jetson, ứng dụng mobile, Docker container và hạ tầng tùy chỉnh.
• Shared inference: Nền tảng cho phép bạn chạy predictions thông qua shared inference service được quản lý, rất phù hợp để nhanh chóng kiểm thử model.
• Dedicated endpoint: Dễ dàng triển khai model dưới dạng các service độc lập với URL API riêng, có thể chạy trên 43 khu vực toàn cầu, cùng các tính năng auto-scaling, monitoring và health check tích hợp sẵn cho các deployment production.

Triển khai bằng dedicated endpoint#

Một trong những cách có khả năng scale tốt nhất để chạy model pre-trained hoặc model thị giác máy tính được training tùy chỉnh trong production trên Ultralytics Platform là sử dụng dedicated endpoint. Dedicated endpoint cho phép bạn triển khai model đã training thành service riêng, để các ứng dụng có thể gửi hình ảnh đến service và nhận predictions qua API.

Thay vì chỉ chạy model trong môi trường training hoặc notebook cục bộ, triển khai model dưới dạng endpoint giúp các ứng dụng thực tế có thể truy cập model. Ví dụ, một hệ thống kho có thể gửi hình ảnh kiện hàng để phát hiện đối tượng, camera thông minh có thể phân tích các frame video hoặc hệ thống robotics có thể sử dụng predictions để điều hướng hành động.

Mỗi dedicated endpoint chạy dưới dạng service single-tenant, nghĩa là hạ tầng chạy model của bạn không được dùng chung với người dùng khác. Điều này mang lại hiệu năng dễ dự đoán hơn và giúp theo dõi cách model hoạt động trong production dễ dàng hơn.

Tìm hiểu chức năng của dedicated inference endpoint#

Bạn có thể hình dung dedicated endpoint như một service được host cho model của mình. Ultralytics Platform cung cấp một URL endpoint riêng, đóng vai trò là entry point cho các ứng dụng.

Khi ứng dụng gửi request đến URL đó, request bao gồm một hình ảnh và các tham số tùy chọn như confidence threshold hoặc kích thước hình ảnh, cùng với API key để xác thực.

Service thực hiện inference trên hình ảnh bằng model của bạn và trả về predictions trong một response có cấu trúc. Thiết lập này cho phép developer tích hợp các model thị giác máy tính vào hệ thống thực tế bằng những web tool tiêu chuẩn.

Ứng dụng có thể gửi request bằng Python, JavaScript, cURL hoặc các HTTP client khác, giúp dễ dàng kết nối model với dashboard, hệ thống robotics hoặc ứng dụng cloud. Vì endpoint chạy độc lập, endpoint cũng hỗ trợ scaling, monitoring và triển khai toàn cầu, giúp các team xây dựng hệ thống thị giác máy tính production đáng tin cậy.

Triển khai đa khu vực cải thiện inference real-time#

Một lợi thế chính của dedicated endpoint trên Ultralytics Platform là khả năng triển khai model trên 43 khu vực toàn cầu. Các khu vực này trải rộng trên nhiều nơi trên thế giới, bao gồm Bắc Mỹ, Nam Mỹ, châu Âu, châu Á - Thái Bình Dương và Trung Đông và châu Phi.

Hình 2. Ultralytics Platform hỗ trợ 43 khu vực toàn cầu (Nguồn)

Triển khai model tại các khu vực gần nơi ứng dụng đang chạy hơn giúp giảm latency, tức thời gian ứng dụng cần để gửi hình ảnh và nhận prediction. Điều này cũng có thể giúp các tổ chức đáp ứng các yêu cầu về quyền riêng tư và lưu trú dữ liệu bằng cách giữ hoạt động xử lý dữ liệu gần nơi dữ liệu phát sinh hơn.

Latency thấp rất quan trọng đối với nhiều ứng dụng thị giác máy tính phụ thuộc vào inference real-time, chẳng hạn như hệ thống robotics, thiết bị Internet vạn vật (IoT), pipeline kiểm tra công nghiệp và hạ tầng thành phố thông minh.

Ví dụ, nếu một ứng dụng chủ yếu được sử dụng ở châu Âu, triển khai model tại một khu vực ở châu Âu có thể cải thiện đáng kể thời gian phản hồi so với việc chạy model tại một khu vực xa.

Cách triển khai đến mọi khu vực với Ultralytics Platform#

Triển khai model đến một khu vực cụ thể rất đơn giản và thường chỉ mất vài phút. Nền tảng xử lý việc thiết lập hạ tầng để developer có thể tập trung vào việc tích hợp model vào ứng dụng. Hãy cùng xem qua các bước thực hiện.

Bước 1: Training hoặc upload model#

Trước khi triển khai, bạn cần có một model đã training trong project của mình. Đây có thể là model được training trực tiếp trên Ultralytics Platform, model được upload sau khi training ở nơi khác hoặc model được clone từ một project cộng đồng trong “Explore tab”, nơi bạn có thể sao chép các project công khai do người dùng khác chia sẻ vào tài khoản của mình chỉ bằng một cú nhấp chuột.

Khi model đã sẵn sàng, hãy mở trang model bên trong project để tiếp tục.

Bước 2: Mở tab Deploy#

Đi đến tab Deploy của model. Khu vực này trên nền tảng cho phép bạn cấu hình và khởi chạy deployment.

Trên trang đó, bạn sẽ thấy một bảng khu vực và bản đồ tương tác hiển thị các vị trí triển khai khả dụng trên toàn thế giới. Nền tảng đo latency từ vị trí của bạn và sắp xếp các khu vực tương ứng, giúp bạn chọn khu vực phù hợp nhất.

Hình 3. Các khu vực được sắp xếp theo latency trên Ultralytics Platform (Nguồn)

Bước 3: Chọn khu vực triển khai#

Chọn khu vực dựa trên vị trí của người dùng hoặc ứng dụng. Triển khai model gần nguồn gửi request hơn có thể giảm đáng kể thời gian phản hồi.

Bước 4: Triển khai endpoint#

Sau khi chọn khu vực và xác nhận cấu hình, bạn có thể nhấp vào Deploy.

Sau đó, nền tảng chuẩn bị môi trường deployment, pull image của model, khởi chạy service và thực hiện health check để đảm bảo endpoint đã sẵn sàng. Quy trình này thường mất khoảng một đến hai phút.

Khi deployment hoàn tất, nền tảng tạo một URL endpoint riêng để các ứng dụng sử dụng gửi inference request.

Hình 4. Ví dụ về một endpoint đã được triển khai (Nguồn)

Bước 5: Bắt đầu gửi inference request#

Khi endpoint đang chạy, ứng dụng có thể bắt đầu gửi hình ảnh đến model bằng REST API endpoint được cung cấp và API key truyền trong header Authorization. Endpoint xử lý từng request và trả về các prediction như đối tượng được phát hiện, bounding box hoặc các output đặc thù khác của task.

Để biết thêm chi tiết liên quan đến việc triển khai model, hãy xem tài liệu Ultralytics Platform chính thức.

Theo dõi hiệu năng và metrics của model cho các endpoint đã triển khai#

Sau khi một model thị giác máy tính được triển khai, việc theo dõi hiệu năng trở thành một phần quan trọng để duy trì độ tin cậy và tính robustness của hệ thống. Ngay cả một model được training tốt cũng cần được quan sát trong production để đảm bảo model tiếp tục phản hồi nhanh, xử lý request đến đúng cách và cung cấp predictions chính xác.

Ultralytics Platform cung cấp các công cụ monitoring tích hợp sẵn, giúp các team nắm được hiệu năng của các endpoint đã triển khai. Trang Deploy của nền tảng hoạt động như một monitoring dashboard, cung cấp chế độ xem tập trung về tất cả endpoint đang chạy cùng các metric chính giúp theo dõi tình trạng và mức sử dụng của hệ thống.

Dưới đây là một số metric bạn có thể theo dõi bằng Platform:

• P95 latency: Metric này đo thời gian phản hồi phía server ở percentile thứ 95 đối với các inference request. Metric cung cấp thông tin về thời gian xử lý của hầu hết inference request và xác định các điểm suy giảm hiệu năng.
• Error rate: Metric này biểu thị tỷ lệ phần trăm request thất bại hoặc trả về lỗi trong khoảng thời gian monitoring đã chọn. Theo dõi error rate cho phép các team nhanh chóng phát hiện vấn đề với deployment hoặc request đến.
• Total requests: Metric này hiển thị tổng số inference request được xử lý trên các endpoint đã triển khai trong khoảng thời gian được chọn (ví dụ: 24 giờ qua). Metric hỗ trợ các team tìm hiểu mức traffic và tần suất model được sử dụng.

Ngoài các metric này, nền tảng cũng cung cấp health check endpoint và deployment log. Health check cho biết endpoint có phản hồi chính xác hay không, trong khi log cung cấp thông tin chi tiết về các request gần đây và hoạt động của hệ thống.

Những điểm chính#

Triển khai model thị giác máy tính là một bước quan trọng để biến các model đã training thành những hệ thống vận hành các ứng dụng thực tế. Với Ultralytics Platform, các team có thể dễ dàng triển khai model thông qua dedicated endpoint trên 43 khu vực toàn cầu, chạy inference real-time qua API và theo dõi hiệu năng từ một môi trường duy nhất. Bằng cách kết hợp các tùy chọn triển khai linh hoạt, monitoring tích hợp sẵn và hạ tầng có khả năng scale, nền tảng giúp developer chuyển từ model machine learning đã training sang các ứng dụng thị giác máy tính đáng tin cậy nhanh hơn.

Hãy trở thành một phần của cộng đồng đang phát triển! Khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI. Nếu bạn đang muốn xây dựng các giải pháp thị giác máy tính, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá những lợi ích của thị giác máy tính trong lĩnh vực chăm sóc sức khỏe và tìm hiểu cách AI trong lĩnh vực logistics đang tạo ra khác biệt!