Tìm hiểu những điều cơ bản về phục vụ mô hình—triển khai các mô hình AI để dự đoán theo thời gian thực, khả năng mở rộng và tích hợp liền mạch vào các ứng dụng.
Sau khi mô hình Học máy (ML) được đào tạo và xác thực, bước quan trọng tiếp theo là làm cho nó khả dụng để tạo ra các dự đoán trên dữ liệu mới. Quá trình này được gọi là Phục vụ mô hình. Nó bao gồm việc triển khai một mô hình đã đào tạo vào môi trường sản xuất, thường là đằng sau điểm cuối API (Giao diện lập trình ứng dụng) , cho phép các ứng dụng hoặc hệ thống khác yêu cầu dự đoán theo thời gian thực. Phục vụ mô hình đóng vai trò là cầu nối giữa mô hình đã phát triển và ứng dụng thực tế của nó, biến nó từ một tệp tĩnh thành một dịch vụ hoạt động, tạo ra giá trị trong Vòng đời học máy rộng hơn.
Phục vụ mô hình là nền tảng cho việc vận hành các mô hình ML. Nếu không có nó, ngay cả những mô hình chính xác nhất, như các máy dò đối tượng YOLO Ultralytics hiện đại, vẫn bị cô lập trong môi trường phát triển, không thể tác động đến các quy trình trong thế giới thực. Phục vụ mô hình hiệu quả đảm bảo rằng các thông tin chi tiết và khả năng tự động hóa được phát triển trong quá trình đào tạo có thể truy cập và sử dụng được. Nó cho phép suy luận theo thời gian thực , cho phép các ứng dụng phản hồi động với dữ liệu mới, điều này rất quan trọng đối với các tác vụ từ phát hiện đối tượng trong video đến xử lý ngôn ngữ tự nhiên (NLP) trong chatbot. Cuối cùng, phục vụ mô hình là điều cần thiết để hiện thực hóa lợi tức đầu tư (ROI) của các sáng kiến AI.
Mặc dù thường được sử dụng thay thế cho nhau, Model Serving về mặt kỹ thuật là một thành phần cụ thể trong quy trình rộng hơn của Model Deployment . Triển khai mô hình bao gồm tất cả các bước cần thiết để đưa một mô hình đã được đào tạo và đưa vào hoạt động trong môi trường sản xuất trực tiếp , bao gồm đóng gói, thiết lập cơ sở hạ tầng, tích hợp và giám sát. Model Serving tập trung cụ thể vào lớp cơ sở hạ tầng và phần mềm lưu trữ mô hình và xử lý các yêu cầu dự đoán đến, giúp chức năng của mô hình khả dụng dưới dạng dịch vụ, thường thông qua các giao thức mạng như REST hoặc gRPC . Xem hướng dẫn của chúng tôi về Tùy chọn triển khai mô hình để biết thêm chi tiết.
Mô hình phục vụ cho phép vô số tính năng do AI điều khiển mà chúng ta tương tác hàng ngày. Sau đây là hai ví dụ:
Việc triển khai một hệ thống phục vụ mô hình mạnh mẽ bao gồm một số thành phần hoạt động cùng nhau:
Các nền tảng như Ultralytics HUB hướng đến mục tiêu đơn giản hóa toàn bộ quy trình làm việc này, cung cấp các giải pháp tích hợp để đào tạo, tạo phiên bản, triển khai và phục vụ các mô hình thị giác máy tính , phù hợp với các phương pháp hay nhất của MLOps (Hoạt động học máy) . Các cân nhắc chính bao gồm khả năng mở rộng để xử lý các thay đổi tải, bảo mật ( Bảo mật dữ liệu ) và khả năng bảo trì.
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
