Triển khai mô hình

Triển khai mô hình là quá trình quan trọng để tích hợp một mô hình học máy (ML) đã được huấn luyện vào một môi trường sản xuất trực tiếp, nơi nó có thể nhận đầu vào và cung cấp các dự đoán. Đây là giai đoạn cuối cùng trong vòng đời học máy, biến một tệp mô hình tĩnh thành một ứng dụng chức năng, tạo ra giá trị. Nếu không có triển khai hiệu quả, ngay cả mô hình chính xác nhất cũng chỉ là một bài tập học thuật. Mục tiêu là làm cho khả năng dự đoán của mô hình có thể truy cập được đối với người dùng cuối, ứng dụng phần mềm hoặc các hệ thống tự động khác một cách đáng tin cậy và có khả năng mở rộng.

Quy trình triển khai là gì?

Triển khai một mô hình không chỉ đơn giản là lưu trọng số mô hình đã huấn luyện. Đó là một quy trình nhiều bước để đảm bảo mô hình hoạt động hiệu quả và đáng tin cậy trong môi trường mục tiêu.

1. Tối ưu hóa mô hình (Model Optimization): Trước khi triển khai, các mô hình thường được tối ưu hóa về tốc độ và kích thước. Các kỹ thuật như lượng tử hóa mô hình (model quantization) và tỉa bớt mô hình (model pruning) làm giảm tài nguyên tính toán cần thiết cho suy luận theo thời gian thực (real-time inference) mà không làm giảm đáng kể độ chính xác (accuracy).
2. Xuất mô hình (Model Export): Mô hình được tối ưu hóa sau đó được chuyển đổi thành định dạng phù hợp cho nền tảng mục tiêu. Ví dụ: các mô hình Ultralytics có thể được xuất sang nhiều định dạng khác nhau như ONNX, TensorRT và CoreML, làm cho chúng trở nên rất linh hoạt.
3. Đóng gói (Packaging): Mô hình và tất cả các dependency của nó (chẳng hạn như các thư viện và framework cụ thể) được đóng gói cùng nhau. Container hóa (Containerization) bằng các công cụ như Docker là một phương pháp phổ biến, vì nó tạo ra một môi trường khép kín, di động, đảm bảo mô hình chạy nhất quán ở mọi nơi.
4. Serving: Mô hình đã đóng gói được triển khai tới một máy chủ hoặc thiết bị, nơi nó có thể chấp nhận các yêu cầu thông qua API. Thành phần này, được gọi là model serving, chịu trách nhiệm xử lý dữ liệu đến và trả về các dự đoán.
5. Giám sát: Sau khi triển khai, giám sát mô hình liên tục là rất cần thiết. Điều này bao gồm theo dõi các chỉ số hiệu suất, độ trễ và mức sử dụng tài nguyên để đảm bảo mô hình hoạt động như mong đợi và phát hiện các vấn đề như trôi dữ liệu.

Môi trường triển khai

Các mô hình có thể được triển khai trong nhiều môi trường khác nhau, mỗi môi trường có những ưu điểm và thách thức riêng.

• Nền tảng đám mây: Các dịch vụ như Amazon Web Services (AWS), Google Cloud Platform (GCP) và Microsoft Azure cung cấp cơ sở hạ tầng mạnh mẽ, có thể mở rộng để lưu trữ các mô hình phức tạp.
• Máy chủ tại chỗ: Các tổ chức có yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu hoặc những tổ chức cần toàn quyền kiểm soát cơ sở hạ tầng của họ có thể triển khai các mô hình trên máy chủ của riêng họ.
• Thiết bị AI biên (Edge AI Devices): AI biên (Edge AI) bao gồm việc triển khai các mô hình trực tiếp lên phần cứng cục bộ, chẳng hạn như điện thoại thông minh, máy bay không người lái, cảm biến công nghiệp hoặc các thiết bị chuyên dụng như NVIDIA Jetson. Phương pháp này lý tưởng cho các ứng dụng yêu cầu độ trễ suy luận (inference latency) thấp và khả năng ngoại tuyến.
• Trình duyệt web: Các mô hình có thể được chạy trực tiếp trong trình duyệt web bằng cách sử dụng các framework như TensorFlow.js, cho phép trải nghiệm AI tương tác mà không cần xử lý phía máy chủ.

Các Ứng dụng Thực tế

• Kiểm soát chất lượng sản xuất: Một mô hình Ultralytics YOLO được huấn luyện để phát hiện lỗi có thể được triển khai trên một thiết bị biên ngay tại nhà máy. Mô hình này, được tối ưu hóa bằng TensorRT để đạt thông lượng cao, được tích hợp với một camera giám sát băng chuyền. Nó thực hiện phát hiện đối tượng theo thời gian thực để xác định các sản phẩm bị lỗi, ngay lập tức báo hiệu cho một cánh tay robot loại bỏ chúng. Toàn bộ quy trình này diễn ra cục bộ, giảm thiểu độ trễ mạng và đảm bảo hành động ngay lập tức. Để biết thêm thông tin, hãy xem cách AI được ứng dụng trong sản xuất.
• Phân tích bán lẻ thông minh: Một mô hình thị giác máy tính để đếm và theo dõi người được triển khai trên các máy chủ đám mây. Camera trong một cửa hàng bán lẻ truyền video lên đám mây, nơi mô hình xử lý các nguồn cấp dữ liệu để tạo ra bản đồ nhiệt về luồng khách hàng và phân tích các kiểu mua sắm. Ứng dụng này được quản lý bằng Kubernetes để xử lý các tải khác nhau từ nhiều cửa hàng, cung cấp thông tin chi tiết có giá trị cho quản lý hàng tồn kho và tối ưu hóa bố trí cửa hàng.

Triển khai mô hình, Phục vụ mô hình và MLOps

Mặc dù liên quan chặt chẽ, các thuật ngữ này là khác biệt.

• Triển khai mô hình (Model Deployment) so với Phục vụ mô hình (Model Serving): Triển khai là toàn bộ quy trình end-to-end để đưa một mô hình đã huấn luyện vào hoạt động. Phục vụ mô hình (Model Serving) là một thành phần cụ thể của quá trình triển khai, đề cập đến cơ sở hạ tầng chịu trách nhiệm chạy mô hình và phản hồi các yêu cầu dự đoán, thường thông qua API.
• Triển khai mô hình (Model Deployment) so với MLOps: Các hoạt động Machine Learning (MLOps) là một tập hợp rộng lớn các hoạt động bao gồm toàn bộ vòng đời AI. Triển khai là một giai đoạn quan trọng trong khuôn khổ MLOps, bao gồm cả quản lý dữ liệu, huấn luyện mô hình, kiểm soát phiên bản, giám sát và tái huấn luyện liên tục. Các nền tảng như Ultralytics HUB cung cấp một môi trường tích hợp để quản lý toàn bộ quy trình làm việc này, từ huấn luyện các mô hình tùy chỉnh đến triển khai và giám sát liền mạch.