Triển khai mô hình

Triển khai mô hình là quá trình quan trọng để tích hợp một mô hình học máy (ML) đã được đào tạo vào môi trường sản xuất thực tế, nơi nó có thể tiếp nhận dữ liệu đầu vào và đưa ra dự đoán. Đây là giai đoạn cuối cùng trong vòng đời học máy , chuyển đổi một tệp mô hình tĩnh thành một ứng dụng có chức năng và tạo ra giá trị. Nếu không được triển khai hiệu quả, ngay cả mô hình chính xác nhất cũng chỉ là một bài tập lý thuyết. Mục tiêu là làm cho khả năng dự đoán của mô hình có thể tiếp cận được với người dùng cuối, ứng dụng phần mềm hoặc các hệ thống tự động khác một cách đáng tin cậy và có khả năng mở rộng.

Quy trình triển khai là gì?

Việc triển khai một mô hình không chỉ đơn thuần là lưu các trọng số mô hình đã được đào tạo. Đó là một quy trình gồm nhiều bước nhằm đảm bảo mô hình hoạt động hiệu quả và đáng tin cậy trong môi trường mục tiêu.

1. Tối ưu hóa mô hình : Trước khi triển khai, các mô hình thường được tối ưu hóa về tốc độ và kích thước. Các kỹ thuật như lượng tử hóa mô hình và cắt tỉa mô hình giúp giảm tài nguyên tính toán cần thiết cho suy luận thời gian thực mà không làm giảm đáng kể độ chính xác .
2. Xuất mô hình : Mô hình đã được tối ưu hóa sau đó được chuyển đổi sang định dạng phù hợp với nền tảng mục tiêu. Ví dụ, các mô hình Ultralytics có thể được xuất sang nhiều định dạng khác nhau như ONNX , TensorRT và CoreML , giúp chúng trở nên cực kỳ linh hoạt.
3. Đóng gói : Mô hình và tất cả các thành phần phụ thuộc (chẳng hạn như thư viện và framework cụ thể) được đóng gói lại với nhau. Việc đóng gói bằng các công cụ như Docker là một phương pháp phổ biến, vì nó tạo ra một môi trường độc lập, di động, đảm bảo mô hình chạy nhất quán ở mọi nơi.
4. Phục vụ : Mô hình đóng gói được triển khai trên máy chủ hoặc thiết bị, nơi nó có thể tiếp nhận yêu cầu thông qua API. Thành phần này, được gọi là phục vụ mô hình , chịu trách nhiệm xử lý dữ liệu đến và trả về dự đoán.
5. Giám sát : Sau khi triển khai, việc giám sát mô hình liên tục là điều cần thiết. Việc này bao gồm theo dõi các số liệu hiệu suất, độ trễ và mức sử dụng tài nguyên để đảm bảo mô hình hoạt động như mong đợi và phát hiện các vấn đề như độ lệch dữ liệu .

Môi trường triển khai

Các mô hình có thể được triển khai trong nhiều môi trường khác nhau, mỗi môi trường đều có những ưu điểm và thách thức riêng.

• Nền tảng đám mây : Các dịch vụ như Amazon Web Services (AWS) , Google Cloud Platform (GCP) và Microsoft Azure cung cấp cơ sở hạ tầng mạnh mẽ, có khả năng mở rộng để lưu trữ các mô hình phức tạp.
• Máy chủ tại chỗ : Các tổ chức có yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu hoặc những tổ chức cần toàn quyền kiểm soát cơ sở hạ tầng của mình có thể triển khai mô hình trên máy chủ của riêng họ.
• Thiết bị AI biên : AI biên liên quan đến việc triển khai các mô hình trực tiếp lên phần cứng cục bộ, chẳng hạn như điện thoại thông minh, máy bay không người lái, cảm biến công nghiệp hoặc các thiết bị chuyên dụng như NVIDIA Jetson . Phương pháp này lý tưởng cho các ứng dụng yêu cầu độ trễ suy luận thấp và khả năng ngoại tuyến.
• Trình duyệt web : Các mô hình có thể được chạy trực tiếp trong trình duyệt web bằng cách sử dụng các khung như TensorFlow.js , cho phép trải nghiệm AI tương tác mà không cần xử lý phía máy chủ.

Ứng dụng trong thế giới thực

• Kiểm soát Chất lượng Sản xuất : Mô hình YOLO của Ultralytics được đào tạo để phát hiện lỗi có thể được triển khai trên thiết bị biên tại nhà máy. Mô hình này, được tối ưu hóa với TensorRT cho năng suất cao, được tích hợp camera quan sát băng chuyền. Nó thực hiện phát hiện vật thể theo thời gian thực để xác định sản phẩm lỗi, ngay lập tức ra hiệu cho cánh tay robot loại bỏ chúng. Toàn bộ quy trình này diễn ra cục bộ, giảm thiểu độ trễ mạng và đảm bảo hành động ngay lập tức. Để biết thêm thông tin, hãy xem cách AI được ứng dụng trong sản xuất .
• Phân tích Bán lẻ Thông minh : Một mô hình thị giác máy tính để đếm và theo dõi người mua được triển khai trên các máy chủ đám mây. Camera trong cửa hàng bán lẻ truyền video lên đám mây, nơi mô hình xử lý dữ liệu để tạo bản đồ nhiệt dòng khách hàng và phân tích các mô hình mua sắm. Ứng dụng được quản lý bằng Kubernetes để xử lý các tải khác nhau từ nhiều cửa hàng, cung cấp thông tin chi tiết có giá trị cho việc quản lý hàng tồn kho và tối ưu hóa bố cục cửa hàng.

Triển khai mô hình, phục vụ mô hình và MLOps

Mặc dù có liên quan chặt chẽ, nhưng các thuật ngữ này lại khác nhau.

• Triển khai Mô hình so với Phục vụ Mô hình : Triển khai là toàn bộ quy trình từ đầu đến cuối, từ việc sử dụng một mô hình đã được đào tạo đến việc vận hành nó. Phục vụ Mô hình là một thành phần cụ thể của triển khai, đề cập đến cơ sở hạ tầng chịu trách nhiệm chạy mô hình và phản hồi các yêu cầu dự đoán, thường thông qua API.
• Triển khai Mô hình so với MLOps : Hoạt động Học máy (MLOps) là một tập hợp rộng các hoạt động bao gồm toàn bộ vòng đời AI. Triển khai là một giai đoạn quan trọng trong khuôn khổ MLOps, bao gồm quản lý dữ liệu, đào tạo mô hình, quản lý phiên bản, giám sát và đào tạo lại liên tục. Các nền tảng như Ultralytics HUB cung cấp một môi trường tích hợp để quản lý toàn bộ quy trình làm việc này, từ đào tạo các mô hình tùy chỉnh đến triển khai và giám sát liền mạch.