Ultralytics Platform: Triển khai model thị giác máy tính đến mọi khu vực

Đầu tuần này, Ultralytics đã ra mắt Ultralytics Platform, một môi trường toàn diện mới được thiết kế để rút ngắn thời gian đưa các hệ thống thị giác máy tính (CV) vào sử dụng bằng cách tinh giản mọi giai đoạn trong quy trình AI thị giác, từ chuẩn bị dữ liệu và phát triển model đến triển khai.

Một trong những động lực chính thúc đẩy việc phát triển Ultralytics Platform là thực tế rằng để đưa giải pháp thị giác máy tính—giúp máy móc phân tích hình ảnh và video—từ ý tưởng đến tạo ra tác động, cần nhiều hơn việc xây dựng một model tốt. Sau khi model được huấn luyện và vượt qua bước xác thực, model cần được triển khai để ứng dụng có thể gửi hình ảnh, nhận dự đoán và chạy suy luận đáng tin cậy trong môi trường thực tế.

Đây là giai đoạn trong vòng đời machine learning mà các model thị giác máy tính vượt ra khỏi phạm vi thử nghiệm và bắt đầu vận hành các hệ thống thực tiễn. Ngay cả khi những bước trước đó như chuẩn bị tập dữ liệu, gán nhãn, huấn luyện model và kiểm thử diễn ra suôn sẻ, nếu không có cách triển khai model đáng tin cậy thì những kết quả đó cũng không thể tạo ra khác biệt.

Thực tế ở nhiều dự án thị giác máy tính là triển khai có thể là một trong những bước phức tạp nhất trong quy trình.

Các nhóm thường cần cấu hình API suy luận, quản lý tài nguyên tính toán, triển khai model gần người dùng để giảm độ trễ và giám sát hiệu năng sau khi hệ thống đi vào production.

Ultralytics Platform tinh giản và tự động hóa quy trình này bằng cách cung cấp nhiều tùy chọn triển khai, bao gồm các định dạng xuất model, dịch vụ suy luận dùng chung và endpoint chuyên dụng trên khắp các khu vực toàn cầu. Với hạ tầng được quản lý và tính năng giám sát tích hợp, các nhóm có thể dễ dàng chuyển từ model đã huấn luyện sang hệ thống thị giác máy tính sẵn sàng cho production.

Hình 1. Tổng quan việc triển khai model bằng Ultralytics Platform (Nguồn)

Trong bài viết này, chúng ta sẽ tìm hiểu cách triển khai model thị giác máy tính đến bất kỳ khu vực nào bằng endpoint chuyên dụng trên Ultralytics Platform. Hãy bắt đầu!

Triển khai model CV là gì?#

Trước khi tìm hiểu cách triển khai model deep learning bằng Ultralytics Platform, hãy cùng tìm hiểu kỹ hơn ý nghĩa thực sự của việc triển khai model thị giác máy tính.

Triển khai model thị giác máy tính là quá trình đưa một model đã huấn luyện vào trạng thái sẵn sàng sử dụng trong thực tế. Thay vì chỉ chạy trong môi trường huấn luyện, model được thiết lập để ứng dụng có thể gửi hình ảnh hoặc video đến model và nhận lại dự đoán.

Ví dụ, model có thể phát hiện đối tượng trong hình ảnh, thực hiện phân đoạn hình ảnh, xác định các mặt hàng trong kho hoặc nhận diện mẫu trong cảnh quay video. Trong hầu hết các hệ thống thực tế, quy trình này diễn ra thông qua API hoặc endpoint suy luận.

Ứng dụng gửi hình ảnh đến model, model xử lý hình ảnh rồi trả về dự đoán trong vòng vài mili giây. Nhờ vậy, các model thị giác máy tính như Ultralytics YOLO có thể hỗ trợ các ứng dụng thời gian thực.

Model có thể được triển khai trong nhiều môi trường khác nhau tùy theo trường hợp sử dụng. Một số chạy trên cloud (thông qua nền tảng cloud) để nhiều ứng dụng truy cập, trong khi nhiều model khác chạy trên thiết bị biên, chẳng hạn như camera tại chỗ, robot hoặc hệ thống nhúng cần dự đoán cục bộ nhanh chóng.

Các tùy chọn triển khai model AI trên Ultralytics Platform#

Ultralytics Platform giải quyết nhiều thách thức mà cộng đồng thị giác máy tính đang gặp phải, đặc biệt là trong việc triển khai model, đồng thời cung cấp các cách chạy suy luận linh hoạt tùy theo nhu cầu của ứng dụng.

Dưới đây là tổng quan nhanh về các tùy chọn triển khai model có trên nền tảng:

• Xuất model: Bạn có thể xuất model sang 17 định dạng khác nhau, bao gồm ONNX, TensorRT, CoreML và TFLite, nhờ đó có thể chạy model trong nhiều môi trường như thiết bị biên, chẳng hạn Raspberry Pi và NVIDIA Jetson, ứng dụng di động, Docker container và hạ tầng tùy chỉnh.
• Suy luận dùng chung: Nền tảng cho phép bạn chạy dự đoán thông qua dịch vụ suy luận dùng chung được quản lý, phù hợp để kiểm thử model nhanh chóng.
• Endpoint chuyên dụng: Dễ dàng triển khai model dưới dạng các dịch vụ độc lập với URL API riêng, có thể chạy trên 43 khu vực toàn cầu, cùng tính năng tự động mở rộng, giám sát và kiểm tra tình trạng được tích hợp sẵn cho các đợt triển khai production.

Triển khai bằng endpoint chuyên dụng#

Một trong những cách mở rộng quy mô hiệu quả nhất để chạy model được huấn luyện trước hoặc model thị giác máy tính được huấn luyện tùy chỉnh trong môi trường production trên Ultralytics Platform là sử dụng endpoint chuyên dụng. Endpoint chuyên dụng cho phép bạn triển khai model đã huấn luyện thành một dịch vụ riêng, để ứng dụng có thể gửi hình ảnh đến dịch vụ và nhận dự đoán qua API.

Thay vì chỉ chạy model trong môi trường huấn luyện hoặc notebook cục bộ, triển khai model dưới dạng endpoint giúp các ứng dụng thực tế có thể truy cập model. Ví dụ, hệ thống kho hàng có thể gửi hình ảnh các kiện hàng để phát hiện đối tượng, camera thông minh có thể phân tích các frame video hoặc hệ thống robot có thể sử dụng dự đoán để định hướng hành động.

Mỗi endpoint chuyên dụng chạy dưới dạng dịch vụ một người thuê, nghĩa là hạ tầng chạy model của bạn không được chia sẻ với người dùng khác. Điều này giúp hiệu năng dễ dự đoán hơn và việc giám sát hoạt động của model trong production trở nên dễ dàng hơn.

Tìm hiểu chức năng của endpoint suy luận chuyên dụng#

Bạn có thể xem endpoint chuyên dụng như một dịch vụ được lưu trữ cho model của mình. Ultralytics Platform cung cấp một URL endpoint riêng, đóng vai trò là điểm truy cập cho ứng dụng.

Khi ứng dụng gửi yêu cầu đến URL đó, yêu cầu sẽ bao gồm hình ảnh và các tham số tùy chọn như ngưỡng confidence hoặc kích thước hình ảnh, cùng với API key để xác thực.

Dịch vụ chạy suy luận trên hình ảnh bằng model của bạn và trả về dự đoán trong một phản hồi có cấu trúc. Thiết lập này cho phép nhà phát triển tích hợp model thị giác máy tính vào các hệ thống thực tế bằng các công cụ web tiêu chuẩn.

Ứng dụng có thể gửi yêu cầu bằng Python, JavaScript, cURL hoặc các HTTP client khác, giúp kết nối model với dashboard, hệ thống robot hoặc ứng dụng cloud một cách dễ dàng. Vì endpoint hoạt động độc lập, endpoint cũng có thể hỗ trợ mở rộng quy mô, giám sát và triển khai toàn cầu, giúp các nhóm xây dựng hệ thống thị giác máy tính production đáng tin cậy.

Triển khai đa khu vực cải thiện suy luận thời gian thực#

Một ưu điểm chính của các endpoint chuyên dụng trên Ultralytics Platform là khả năng triển khai model tại 43 khu vực trên toàn cầu. Các khu vực này trải rộng trên nhiều nơi trên thế giới, bao gồm Bắc Mỹ, Nam Mỹ, châu Âu, châu Á – Thái Bình Dương, Trung Đông và châu Phi.

Hình 2. Ultralytics Platform hỗ trợ 43 khu vực trên toàn cầu (Nguồn)

Triển khai model tại các khu vực gần nơi ứng dụng hoạt động giúp giảm độ trễ, tức là khoảng thời gian ứng dụng cần để gửi một hình ảnh và nhận về kết quả dự đoán. Việc này cũng có thể giúp các tổ chức đáp ứng các yêu cầu về quyền riêng tư và lưu trú dữ liệu bằng cách xử lý dữ liệu gần nơi dữ liệu phát sinh hơn.

Độ trễ thấp rất quan trọng đối với nhiều ứng dụng thị giác máy tính cần suy luận thời gian thực, chẳng hạn như hệ thống robot, thiết bị Internet vạn vật (IoT), quy trình kiểm tra công nghiệp và cơ sở hạ tầng thành phố thông minh.

Ví dụ: nếu một ứng dụng chủ yếu được sử dụng ở châu Âu, triển khai model tại một khu vực ở châu Âu có thể cải thiện đáng kể thời gian phản hồi so với chạy model ở một khu vực xa hơn.

Cách triển khai đến bất kỳ khu vực nào bằng Ultralytics Platform#

Triển khai model đến một khu vực cụ thể rất đơn giản và thường chỉ mất vài phút. Nền tảng xử lý việc thiết lập cơ sở hạ tầng để nhà phát triển có thể tập trung tích hợp model vào ứng dụng. Hãy cùng tìm hiểu các bước cần thực hiện.

Bước 1: Huấn luyện hoặc tải model lên#

Trước khi triển khai, bạn cần có một model đã huấn luyện trong dự án của mình. Model này có thể được huấn luyện trực tiếp trên Ultralytics Platform, được tải lên sau khi huấn luyện ở nơi khác hoặc được sao chép từ một dự án cộng đồng trong “tab Explore”, nơi các dự án công khai do người dùng khác chia sẻ có thể được sao chép vào tài khoản của bạn chỉ bằng một lần nhấp.

Khi model đã sẵn sàng, hãy mở trang model trong dự án để tiếp tục.

Bước 2: Mở tab Deploy#

Đi đến tab Deploy của model. Phần này của nền tảng cho phép bạn cấu hình và khởi chạy các lượt triển khai.

Trên trang đó, bạn sẽ thấy bảng khu vực và bản đồ tương tác hiển thị các vị trí triển khai khả dụng trên toàn thế giới. Nền tảng đo độ trễ từ vị trí của bạn và sắp xếp các khu vực tương ứng để giúp bạn chọn khu vực phù hợp nhất.

Hình 3. Các khu vực được sắp xếp theo độ trễ trên Ultralytics Platform (Nguồn)

Bước 3: Chọn khu vực triển khai#

Chọn khu vực dựa trên vị trí của người dùng hoặc ứng dụng. Triển khai model gần nguồn phát sinh yêu cầu hơn có thể giảm đáng kể thời gian phản hồi.

Bước 4: Triển khai endpoint#

Sau khi chọn khu vực và xác nhận cấu hình, bạn có thể nhấp vào Deploy.

Sau đó, nền tảng chuẩn bị môi trường triển khai, tải image của model, khởi chạy dịch vụ và thực hiện kiểm tra tình trạng để đảm bảo endpoint đã sẵn sàng. Quá trình này thường mất khoảng một đến hai phút.

Khi hoàn tất triển khai, nền tảng tạo URL endpoint duy nhất mà các ứng dụng có thể dùng để gửi yêu cầu suy luận.

Hình 4. Ví dụ về một endpoint đã triển khai (Nguồn)

Bước 5: Bắt đầu gửi yêu cầu suy luận#

Khi endpoint đang hoạt động, ứng dụng có thể bắt đầu gửi hình ảnh đến model bằng endpoint REST API được cung cấp và API key truyền trong header Authorization. Endpoint xử lý từng yêu cầu và trả về các dự đoán như đối tượng được phát hiện, bounding box hoặc đầu ra khác tùy theo tác vụ.

Để biết thêm chi tiết về triển khai model, hãy xem tài liệu chính thức của Ultralytics Platform.

Giám sát hiệu suất và số liệu của model cho các endpoint đã triển khai#

Sau khi triển khai model thị giác máy tính, việc giám sát hiệu suất trở thành một phần quan trọng để duy trì độ tin cậy và tính ổn định của hệ thống. Ngay cả model được huấn luyện tốt cũng cần được theo dõi trong môi trường production để đảm bảo model tiếp tục phản hồi nhanh, xử lý đúng các yêu cầu đến và đưa ra dự đoán chính xác.

Ultralytics Platform cung cấp các công cụ giám sát tích hợp, giúp nhóm nắm được hiệu suất của các endpoint đã triển khai. Trang Deploy của nền tảng đóng vai trò như một dashboard giám sát, cung cấp chế độ xem tập trung về tất cả endpoint đang chạy cùng các số liệu quan trọng giúp theo dõi tình trạng và mức sử dụng hệ thống.

Dưới đây là một số số liệu bạn có thể giám sát bằng Platform:

• Độ trễ P95: Số liệu này đo thời gian phản hồi phía máy chủ ở phân vị thứ 95 đối với các yêu cầu suy luận. Số liệu cho biết thời gian xử lý của phần lớn yêu cầu suy luận và giúp xác định tình trạng suy giảm hiệu suất.
• Tỷ lệ lỗi: Số liệu này thể hiện tỷ lệ phần trăm yêu cầu thất bại hoặc trả về lỗi trong khoảng thời gian giám sát đã chọn. Theo dõi tỷ lệ lỗi giúp các nhóm nhanh chóng phát hiện vấn đề trong quá trình triển khai hoặc với các yêu cầu gửi đến.
• Tổng số yêu cầu: Số liệu này cho biết tổng số yêu cầu suy luận được xử lý trên các endpoint đã triển khai trong khoảng thời gian được chọn (ví dụ: 24 giờ qua). Số liệu giúp các nhóm hiểu mức lưu lượng và tần suất sử dụng model.

Ngoài các số liệu này, nền tảng còn cung cấp tính năng kiểm tra tình trạng endpoint và nhật ký triển khai. Kiểm tra tình trạng cho biết endpoint có phản hồi chính xác hay không, còn nhật ký cung cấp thông tin chi tiết về các yêu cầu gần đây và hoạt động của hệ thống.

Điểm chính cần ghi nhớ#

Triển khai model thị giác máy tính là bước thiết yếu để biến model đã huấn luyện thành các hệ thống hỗ trợ ứng dụng trong thế giới thực. Với Ultralytics Platform, các nhóm có thể dễ dàng triển khai model thông qua endpoint chuyên dụng tại 43 khu vực trên toàn cầu, thực hiện suy luận thời gian thực qua API và giám sát hiệu suất trong một môi trường duy nhất. Bằng cách kết hợp các tùy chọn triển khai linh hoạt, tính năng giám sát tích hợp và cơ sở hạ tầng có khả năng mở rộng, nền tảng giúp nhà phát triển nhanh chóng chuyển từ model machine learning đã huấn luyện sang ứng dụng thị giác máy tính đáng tin cậy.

Hãy trở thành một phần của cộng đồng đang phát triển của chúng tôi! Khám phá repository GitHub để tìm hiểu thêm về AI. Nếu bạn muốn xây dựng giải pháp thị giác máy tính, hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu lợi ích của thị giác máy tính trong chăm sóc sức khỏe và xem AI trong logistics đang tạo ra khác biệt như thế nào!