Cách Ultralytics Platform đơn giản hóa việc triển khai mô hình thị giác máy tính

Ultralytics đã làm việc với cộng đồng computer vision trong nhiều năm, tạo ra các model và công cụ giúp vision AI trở nên dễ tiếp cận hơn với mọi người. Với Ultralytics Platform, chúng tôi đang tiến thêm một bước bằng cách đưa toàn bộ quy trình phát triển computer vision vào một môi trường thống nhất, bao gồm mọi thứ từ quản lý và gắn nhãn dataset đến huấn luyện, kiểm thử và triển khai model.

Cụ thể, chúng tôi rất hào hứng khi làm cho việc triển khai model computer vision trở nên dễ dàng hơn. Khi computer vision tiếp tục được đưa vào các ứng dụng thực tế, việc phân tích hình ảnh và video bên ngoài các môi trường kiểm soát vẫn còn rất phức tạp.

Không giống như các thiết lập thử nghiệm với điều kiện có thể dự đoán được, các kịch bản thực tế bao gồm ánh sáng thay đổi, dữ liệu đầu vào biến động và khối lượng công việc khó đoán, khiến triển khai trở thành một trong những phần khó khăn nhất của quy trình làm việc về vision.

Triển khai không chỉ đơn thuần là làm cho một model sẵn sàng để sử dụng. Nó đòi hỏi việc thiết lập các quy trình có khả năng xử lý dữ liệu thực tế và đảm bảo mọi thứ chạy mượt mà khi nhu cầu sử dụng tăng lên và dự án mở rộng quy mô.

Các đội ngũ cũng cần theo dõi hiệu suất và duy trì độ tin cậy theo thời gian. Điều này thường có nghĩa là phải chuyển đổi giữa các công cụ AI khác nhau cho việc kiểm thử, tích hợp, triển khai và giám sát, điều này có thể làm chậm quá trình phát triển model và thêm sự phức tạp không cần thiết.

Các quy trình làm việc thường trở nên manh mún. Ultralytics Platform hợp nhất và đơn giản hóa quy trình này.

Nền tảng này cung cấp hỗ trợ tích hợp cho việc phục vụ (serving), kiểm thử và giám sát model trong một môi trường duy nhất. Các đội ngũ có thể xác thực model bằng inference trên trình duyệt, tích hợp chúng vào các ứng dụng thông qua dịch vụ inference chia sẻ và triển khai tới các endpoint chuyên dụng với các khả năng giám sát hiệu suất.

Hình 1. Giao diện trang triển khai trong Ultralytics Platform (Nguồn)

Trong bài viết này, chúng tôi sẽ khám phá cách Ultralytics Platform định nghĩa lại model deployment cho computer vision, từ kiểm thử và tích hợp đến triển khai thực tế và giám sát. Hãy cùng bắt đầu!

Link to this sectionTổng quan về việc triển khai model computer vision#

Trong vòng đời machine learning, triển khai model là giai đoạn một model chuyển từ thử nghiệm sang sử dụng thực tế. Đối với các computer vision models được xây dựng bằng deep learning và convolutional neural networks, điều này thường có nghĩa là làm cho chúng sẵn sàng để xử lý hình ảnh và video theo thời gian thực.

Sau khi được triển khai, các model này tiếp nhận dữ liệu mới, thường phải trải qua các bước tiền xử lý như thay đổi kích thước, chuẩn hóa hoặc định dạng. Dữ liệu đã xử lý sau đó được chuyển đến model, nơi áp dụng các mẫu đã học trong quá trình huấn luyện để tạo ra các dự đoán có độ chính xác cao.

Tùy thuộc vào trường hợp sử dụng, điều này có thể bao gồm các tác vụ computer vision khác nhau. Ví dụ, các model Ultralytics YOLO, như Ultralytics YOLO26, hỗ trợ nhiều loại tác vụ vision, bao gồm phát hiện đối tượng (object detection), phân loại hình ảnh (image classification), phân đoạn instance (instance segmentation), ước tính tư thế (pose estimation) và phát hiện hộp bao xoay (oriented bounding box - OBB).

Để thực hiện điều này trong các ứng dụng thực tế, các model thường cần được tích hợp vào các hệ thống có khả năng xử lý cả tiền xử lý và inference một cách hiệu quả. Đây là lúc cơ sở hạ tầng triển khai trở nên cần thiết.

Trong môi trường production, các model thường được truy cập thông qua REST API hoặc các hệ thống phục vụ model. Các giao diện này cho phép ứng dụng gửi dữ liệu và nhận dự đoán theo lập trình, giúp dễ dàng tích hợp với các ứng dụng bên ngoài, thiết bị IoT hoặc các hệ thống robot dựa trên khả năng hiểu hình ảnh theo thời gian thực.

Link to this sectionNhững hạn chế của các công cụ triển khai computer vision truyền thống#

Triển khai model computer vision nghe có vẻ đơn giản, nhưng cho đến nay, thực tế lại khá khác biệt. Hãy xem xét một thiết lập phổ biến: dữ liệu được thu thập từ camera hoặc cảm biến, gửi đến một model để thực hiện inference, sau đó trả về một ứng dụng dưới dạng các dự đoán.

Trên thực tế, mỗi bước này thường được xử lý bởi các công cụ và dịch vụ riêng biệt. Một hệ thống có thể xử lý việc thu thập dữ liệu, hệ thống khác quản lý phục vụ model, trong khi các công cụ bổ sung được sử dụng để mở rộng quy mô, giám sát và ghi log. Việc giữ cho các thành phần này kết nối và hoạt động ổn định có thể nhanh chóng trở nên phức tạp.

Khi nhu cầu sử dụng tăng lên, sự phức tạp này cũng tăng theo. Việc quản lý cơ sở hạ tầng, xử lý các phụ thuộc và duy trì hiệu suất nhất quán trên toàn bộ quy trình end-to-end có thể làm chậm quá trình phát triển và gây khó khăn hơn cho việc triển khai các model computer vision trong các ứng dụng thực tế.

Ultralytics Platform tập hợp các thành phần này trong một môi trường thống nhất. Điều này cung cấp một cách gắn kết hơn để quản lý toàn bộ quy trình làm việc triển khai, đồng thời hỗ trợ hiệu suất và độ tin cậy ở quy mô lớn.

Link to this sectionCác tùy chọn triển khai model được hỗ trợ bởi Ultralytics Platform#

Ngoài việc hợp nhất quy trình triển khai model, Ultralytics Platform còn mang lại sự linh hoạt cho cách các model được triển khai và sử dụng.

Để hỗ trợ các giai đoạn khác nhau của việc triển khai model computer vision, nền tảng cung cấp bốn tùy chọn: kiểm thử trên trình duyệt với inference tức thì, inference chia sẻ thông qua API cho quá trình phát triển, các endpoint chuyên dụng cho triển khai production có thể mở rộng trên các vùng toàn cầu và xuất model (model export) để chạy trên cơ sở hạ tầng bên ngoài hoặc thiết bị edge.

Vậy hãy xem xét kỹ hơn cách hoạt động của từng tùy chọn này.

Link to this sectionXác thực model nhanh chóng bằng tab Predict#

Trước khi đưa một model vào môi trường production, điều quan trọng là phải hiểu cách nó hoạt động trên dữ liệu mới chưa từng thấy. Ultralytics Platform bao gồm một tab Predict tích hợp sẵn cho phép bạn run inference trực tiếp trên trình duyệt mà không cần cài đặt, cơ sở hạ tầng hay các phụ thuộc nào.

Tab Predict làm cho việc xác thực model trở nên nhanh chóng và tương tác. Bạn có thể tải lên hình ảnh, sử dụng các ví dụ được tải sẵn hoặc thu thập dữ liệu đầu vào bằng webcam, và inference sẽ chạy tự động ngay khi có dữ liệu.

Kết quả xuất hiện ngay lập tức với các lớp phủ hình ảnh, điểm tin cậy và kết quả chi tiết, mang lại cho bạn cái nhìn rõ ràng về cách model phản hồi.

Hình 2. Một ví dụ về việc xác thực model bằng tab Predict (Nguồn)

Điều này có nghĩa là chỉ với vài cú nhấp chuột, bạn có thể kiểm tra các dữ liệu đầu vào khác nhau, điều chỉnh các tham số và đánh giá hiệu suất trong một giao diện duy nhất trước khi chuyển sang triển khai.

Link to this sectionChạy inference chia sẻ để kiểm thử hoặc sử dụng nhẹ#

Giả sử bạn đã huấn luyện một model và xác thực nó bằng tab Predict. Bước tiếp theo thường là bắt đầu tích hợp model đó vào một ứng dụng hoặc quy trình làm việc.

Thay vì phải thiết lập cơ sở hạ tầng hoặc quản lý các máy chủ, Ultralytics Platform cung cấp các dịch vụ inference chia sẻ cho phép bạn gửi dữ liệu đến model của mình và nhận dự đoán thông qua các REST API đơn giản.

Phía sau, các inference chia sẻ chạy trên một hệ thống multi-tenant trên một vài khu vực cốt lõi, nơi các yêu cầu được tự động định tuyến đến dịch vụ gần nhất có sẵn. Điều này giúp duy trì hiệu suất phản hồi trong khi vẫn cho phép người dùng ở các địa điểm khác nhau truy cập model một cách nhất quán.

Bạn có thể gửi dữ liệu đầu vào bằng các yêu cầu HTTP tiêu chuẩn và nhận lại kết quả có cấu trúc, giúp việc kết nối model với ứng dụng, script hoặc quy trình tự động hóa trở nên dễ dàng. Thiết lập này là một lựa chọn tuyệt vời cho quá trình phát triển, kiểm thử, tích hợp hoặc sử dụng nhẹ trước khi chuyển sang các triển khai production có quy mô lớn hơn.

Link to this sectionTriển khai model trên toàn cầu thông qua các endpoint chuyên dụng#

Khi một model đã sẵn sàng cho production, nó cần xử lý lưu lượng thực tế một cách đáng tin cậy và ở quy mô lớn. Ultralytics Platform hỗ trợ điều này với dedicated endpoints, nơi các model chạy dưới dạng dịch vụ single-tenant trên 43 vùng toàn cầu. Triển khai gần người dùng cuối hơn giúp giảm độ trễ và duy trì hiệu suất nhất quán trên các địa điểm khác nhau.

Mỗi endpoint chạy với tài nguyên tính toán được phân bổ riêng và một URL duy nhất cho các yêu cầu inference. Mức độ kiểm soát này giúp dễ dàng điều chỉnh các triển khai dựa trên nhu cầu hiệu suất, từ các trường hợp sử dụng nhẹ đến các ứng dụng đòi hỏi cao, có lưu lượng truy cập lớn và cần nhiều tài nguyên tính toán hơn.

Hình 3. Bạn có thể triển khai model trên 43 vùng toàn cầu bằng Ultralytics Platform (Nguồn)

Tuy nhiên, các endpoint chuyên dụng được thiết kế để tự xử lý khối lượng công việc thay đổi, với khả năng auto scaling điều chỉnh tài nguyên dựa trên lưu lượng truy cập đến. Chúng mở rộng quy mô khi nhu cầu cao và thu hẹp khi nhu cầu giảm. Với tính năng scale-to-zero được bật mặc định, các endpoint nhàn rỗi sẽ tự động tắt và khởi động lại khi có yêu cầu mới, giúp tối ưu hóa việc sử dụng tài nguyên mà không cần can thiệp thủ công.

Link to this sectionXuất model dễ dàng với Ultralytics Platform#

Ngày nay, edge AI đang trở nên ngày càng thiết yếu khi nhiều ứng dụng dựa vào việc chạy model trực tiếp trên các thiết bị như điện thoại thông minh, camera và hệ thống nhúng. Chạy model cục bộ cũng có thể giúp giải quyết các yêu cầu về quyền riêng tư dữ liệu, vì các dữ liệu nhạy cảm như hình ảnh hoặc luồng video có thể được xử lý trực tiếp trên thiết bị mà không cần gửi đến các máy chủ bên ngoài.

Trong những kịch bản này, các model cần chạy bên ngoài Ultralytics Platform, làm cho việc xuất model trở thành một phần quan trọng của quy trình triển khai. Các model Ultralytics YOLO thường được huấn luyện bằng Python và PyTorch, sau đó có thể được xuất sang hơn 17 định dạng khác nhau, bao gồm ONNX, TensorRT, CoreML và OpenVINO.

Sự đa dạng của các định dạng này đảm bảo khả năng tương thích trên nhiều phần cứng khác nhau, từ các bộ xử lý đồ họa (GPU) hiệu suất cao đến các thiết bị di động và nhúng. Ngoài ra, việc xuất model cho phép tối ưu hóa hiệu suất cho các môi trường cụ thể.

Tùy thuộc vào định dạng, các model có thể đạt tốc độ inference nhanh hơn, chẳng hạn như cải thiện hiệu suất GPU với TensorRT hoặc tối ưu hóa thực thi CPU với ONNX và OpenVINO. Các tùy chọn như lượng tử hóa (quantization) FP16 và INT8 có thể làm giảm kích thước model và cải thiện throughput, điều này đặc biệt hữu ích cho các triển khai edge.

Trên Ultralytics Platform, việc xuất model được tích hợp trực tiếp vào quy trình làm việc, giúp tạo ra các model đã tối ưu hóa chỉ với vài cú nhấp chuột. Các đội ngũ có thể chuyển từ huấn luyện sang chạy model trên các hệ thống bên ngoài mà không làm tăng thêm chi phí vận hành.

Hình 4. Một lựa chọn các định dạng xuất trên Ultralytics Platform.

Link to this sectionChọn tùy chọn triển khai model phù hợp#

Mỗi tùy chọn triển khai trong Ultralytics Platform hỗ trợ một giai đoạn khác nhau của quy trình làm việc, từ kiểm thử ban đầu đến sử dụng thực tế. Dưới đây là tổng quan về thời điểm bạn có thể sử dụng từng tùy chọn:

• Tab Predict: Thường được sử dụng ngay sau khi huấn luyện hoặc tinh chỉnh (fine-tuning), khi bạn muốn xác thực cách model hoạt động trên dữ liệu mới bằng inference trên trình duyệt.
• Shared inference: Ở giai đoạn này, các model có thể được tích hợp vào các ứng dụng thông qua API, giúp kiểm tra các tương tác thực tế trong quá trình phát triển.
• Dedicated endpoints: Được sử dụng cho các triển khai production, nơi các model cần hiệu suất ổn định, tài nguyên chuyên dụng và khả năng mở rộng trên các vùng toàn cầu.
• Model export: Khi các model cần chạy bên ngoài nền tảng, tùy chọn xuất model cho phép triển khai trên các thiết bị edge, ứng dụng di động hoặc cơ sở hạ tầng tùy chỉnh.

Các đội ngũ thường thực hiện các tùy chọn này theo từng bước, từ xác thực đến tích hợp và cuối cùng là triển khai production, tất cả đều nằm trong nền tảng.

Link to this sectionGiám sát các model đã triển khai thông qua Ultralytics Platform#

Quan trọng như việc triển khai, quy trình làm việc về vision không kết thúc ở đó. Khi một model đang chạy trong production, việc giám sát liên tục là chìa khóa để đảm bảo nó hoạt động đáng tin cậy theo thời gian.

Ultralytics Platform cung cấp các công cụ built-in monitoring giúp các đội ngũ có cái nhìn rõ ràng về cách các model vision AI hoạt động theo thời gian, hỗ trợ một quy trình machine learning operations (MLOps) có cấu trúc hơn.

Trang Deploy bao gồm một bảng điều khiển (dashboard) theo dõi các chỉ số chính như tổng số yêu cầu, các triển khai đang hoạt động, độ trễ phản hồi và tỷ lệ lỗi. Những thông tin này giúp các đội ngũ hiểu được các kiểu sử dụng, đánh giá khả năng phản hồi của hệ thống và đảm bảo hiệu suất độ trễ thấp trên các khối lượng công việc khác nhau.

Hình 5. Ultralytics Platform giúp việc giám sát các model đã triển khai trở nên dễ dàng. (Nguồn)

Mỗi endpoint chuyên dụng cũng cung cấp khả năng quan sát chi tiết thông qua các chế độ xem triển khai riêng lẻ. Điều này bao gồm quyền truy cập vào nhật ký (logs), trạng thái sức khỏe của model và dữ liệu hiệu suất theo thời gian thực. Nhật ký có thể được sử dụng để gỡ lỗi, truy vết các yêu cầu thất bại và xác định các vấn đề tiềm ẩn liên quan đến các phụ thuộc hoặc cơ sở hạ tầng.

Khi môi trường production phát triển, các yếu tố như thay đổi dữ liệu đầu vào, nhu cầu mở rộng hoặc các kiểu sử dụng thay đổi có thể ảnh hưởng đến độ chính xác và độ bền của model. Bằng cách giám sát liên tục các chỉ số hiệu suất, các đội ngũ có thể phát hiện các bất thường, xác định các điểm nghẽn và thực hiện các hành động khắc phục như tối ưu hóa model hoặc điều chỉnh tài nguyên để duy trì việc phục vụ model nhất quán và đáng tin cậy.

Link to this sectionXây dựng khả năng mở rộng cho các triển khai model computer vision#

Việc mở rộng các hệ thống computer vision theo truyền thống có nghĩa là kết hợp các quy trình và framework vốn không được thiết kế để hoạt động cùng nhau. Các luồng dữ liệu, vòng lặp huấn luyện, cơ sở hạ tầng triển khai và các hệ thống giám sát thường nằm ở những nơi riêng biệt, tạo ra lực cản ở mọi giai đoạn.

Thách thức thực sự không chỉ là xây dựng model, mà là giữ cho chúng luôn vận hành. Từ việc chuyển từ dữ liệu sang production, thích ứng với các dữ liệu đầu vào mới, xử lý nhu cầu ngày càng tăng và cải thiện liên tục mà không bị chậm lại.

Điều nổi bật về Ultralytics Platform là sự vận hành này đã được xây dựng sẵn. Thay vì coi mỗi giai đoạn là một bước riêng biệt, nền tảng kết nối chúng thành một vòng lặp liên tục, nơi các model có thể được phát triển, triển khai, quan sát và cập nhật trong cùng một môi trường.

Sự thay đổi đó thay đổi cách các đội ngũ mở rộng quy mô. Đó không còn là sự điều phối các công cụ hay cơ sở hạ tầng, mà là về việc duy trì động lực khi hệ thống phát triển.

Link to this sectionCác điểm chính cần lưu ý#

Việc đưa các model machine learning như computer vision models vào các ứng dụng thực tế đòi hỏi chúng phải đáng tin cậy, có thể mở rộng và dễ quản lý. Ultralytics Platform đơn giản hóa quy trình này bằng cách kết hợp nhiều chức năng, chẳng hạn như phục vụ model, triển khai và giám sát, vào một môi trường thống nhất. Với các tùy chọn triển khai linh hoạt và các công cụ tích hợp, các đội ngũ có thể chuyển từ thử nghiệm sang production nhanh chóng hơn và với ít sự phức tạp hơn.

Hãy kiểm tra cộng đồng của chúng tôi và khám phá GitHub repository để tìm hiểu thêm. Khám phá các trang giải pháp của chúng tôi để xem các ứng dụng khác nhau như AI trong y tế và computer vision trong logistics. Khám phá các tùy chọn cấp phép của chúng tôi và bắt đầu xây dựng ngay hôm nay!