Bằng cách nhấp vào “Chấp nhận tất cả Cookie”, bạn đồng ý với việc lưu trữ cookie trên thiết bị của mình để tăng cường khả năng điều hướng trang web, phân tích việc sử dụng trang web và hỗ trợ các nỗ lực tiếp thị của chúng tôi. Thêm thông tin
Cài đặt Cookie
Bằng cách nhấp vào “Chấp nhận tất cả Cookie”, bạn đồng ý với việc lưu trữ cookie trên thiết bị của mình để tăng cường khả năng điều hướng trang web, phân tích việc sử dụng trang web và hỗ trợ các nỗ lực tiếp thị của chúng tôi. Thêm thông tin
Tìm hiểu cách triển khai các mô hình thị giác máy tính của bạn đến bất kỳ khu vực nào bằng cách sử dụng Ultralytics Nền tảng cho việc triển khai AI có khả năng mở rộng, nhanh chóng và linh hoạt.
Mở rộng quy mô các dự án thị giác máy tính của bạn với Ultralytics
Đầu tuần này, Ultralytics Ra mắt Ultralytics Platform , một môi trường hoàn chỉnh mới được thiết kế để đẩy nhanh quá trình vận chuyển các hệ thống thị giác máy tính (CV) bằng cách tối ưu hóa mọi giai đoạn của quy trình làm việc AI thị giác, từ chuẩn bị dữ liệu và phát triển mô hình đến triển khai.
Một trong những động lực chính thúc đẩy sự phát triển Ultralytics Vấn đề cốt lõi là việc đưa một giải pháp thị giác máy tính cho phép máy móc phân tích hình ảnh và video từ ý tưởng đến khi tạo ra tác động thực tế không chỉ đơn thuần là xây dựng một mô hình mạnh mẽ. Sau khi mô hình được huấn luyện và vượt qua quá trình kiểm định, nó cần được triển khai để các ứng dụng có thể gửi hình ảnh, nhận dự đoán và thực hiện suy luận một cách đáng tin cậy trong môi trường thực tế.
Giai đoạn này trong vòng đời của học máy là nơi các mô hình thị giác máy tính vượt qua giai đoạn thử nghiệm và bắt đầu vận hành các hệ thống thực tế. Ngay cả khi các bước trước đó như chuẩn bị tập dữ liệu, chú thích, huấn luyện mô hình và kiểm thử diễn ra suôn sẻ, nếu không có cách thức đáng tin cậy để triển khai các mô hình, những kết quả đó cũng không thể tạo ra sự khác biệt.
Thực tế trong nhiều dự án thị giác máy tính là việc triển khai có thể là một trong những bước phức tạp nhất trong quy trình làm việc.
Các nhóm thường cần cấu hình API suy luận, quản lý tài nguyên tính toán, triển khai mô hình gần người dùng để giảm độ trễ và giám sát hiệu suất sau khi hệ thống hoạt động trong môi trường sản xuất.
Ultralytics Nền tảng này giúp đơn giản hóa và tự động hóa quy trình bằng cách cung cấp nhiều tùy chọn triển khai, bao gồm các định dạng xuất mô hình, dịch vụ suy luận dùng chung và các điểm cuối chuyên dụng trên toàn cầu. Với cơ sở hạ tầng được quản lý và tính năng giám sát tích hợp, các nhóm có thể dễ dàng chuyển từ các mô hình đã được huấn luyện sang các hệ thống thị giác máy tính sẵn sàng cho sản xuất.
Hình 1. Tổng quan về việc triển khai các mô hình sử dụng Ultralytics Nền tảng ( Nguồn )
Trong bài viết này, chúng ta sẽ tìm hiểu cách triển khai các mô hình thị giác máy tính đến bất kỳ khu vực nào bằng cách sử dụng các điểm cuối chuyên dụng. Ultralytics Nền tảng. Bắt đầu thôi!
Triển khai mô hình CV là gì?
Trước khi chúng ta đi sâu vào cách triển khai các mô hình học sâu bằng cách sử dụng... Ultralytics Platform, chúng ta hãy cùng tìm hiểu kỹ hơn về ý nghĩa thực sự của việc triển khai mô hình thị giác máy tính.
Triển khai mô hình thị giác máy tính là quá trình lấy một mô hình đã được huấn luyện và đưa nó vào sử dụng thực tế. Thay vì chỉ chạy trong môi trường huấn luyện, mô hình được thiết lập để các ứng dụng có thể gửi hình ảnh hoặc video đến nó và nhận lại dự đoán.
Ví dụ, một mô hình có thể là... detect Các hệ thống này có thể nhận diện đối tượng trong ảnh, thực hiện phân đoạn ảnh, xác định mặt hàng trong kho hoặc nhận dạng mẫu trong đoạn phim. Trong hầu hết các hệ thống thực tế, điều này được thực hiện thông qua API hoặc điểm cuối suy luận.
Ứng dụng gửi một hình ảnh đến mô hình, mô hình xử lý hình ảnh đó và trả về dự đoán trong vòng mili giây. Đây chính là điều cho phép các mô hình thị giác máy tính như Ultralytics YOLO hỗ trợ các ứng dụng thời gian thực.
Các mô hình có thể được triển khai trong các môi trường khác nhau tùy thuộc vào trường hợp sử dụng. Một số chạy trên đám mây (thông qua các nền tảng đám mây) và nhiều ứng dụng có thể truy cập chúng, trong khi những mô hình khác chạy trên các thiết bị biên, chẳng hạn như camera tại chỗ, robot hoặc hệ thống nhúng cần dự đoán nhanh chóng tại chỗ.
Các tùy chọn triển khai mô hình AI trên Ultralytics Nền tảng
Trong khi Ultralytics Nền tảng này giải quyết nhiều thách thức mà cộng đồng thị giác máy tính phải đối mặt, đặc biệt là khi nói đến việc triển khai các mô hình, nó cung cấp các cách thức linh hoạt để chạy suy luận tùy thuộc vào nhu cầu của ứng dụng của bạn.
Dưới đây là tổng quan nhanh về các tùy chọn triển khai mô hình có sẵn trên nền tảng:
Xuất mô hình: Bạn có thể xuất mô hình sang 17 định dạng khác nhau, bao gồm... ONNX , TensorRT , CoreML , Và TFLite , cho phép chạy các mô hình trên nhiều môi trường khác nhau, chẳng hạn như các thiết bị biên như Raspberry Pi và NVIDIA Jetson, ứng dụng di động, container Docker và cơ sở hạ tầng tùy chỉnh.
Suy luận chung: Nền tảng này cho phép bạn chạy các dự đoán thông qua dịch vụ suy luận chung được quản lý, lý tưởng để nhanh chóng kiểm tra các mô hình.
Điểm cuối API chuyên dụng: Dễ dàng triển khai các mô hình dưới dạng các dịch vụ độc lập với URL API duy nhất, có thể hoạt động trên 43 khu vực toàn cầu, với tính năng tự động mở rộng quy mô, giám sát và kiểm tra trạng thái hoạt động được tích hợp sẵn cho các triển khai sản xuất.
Triển khai bằng cách sử dụng các điểm cuối chuyên dụng
Một trong những cách hiệu quả nhất để vận hành các mô hình được huấn luyện trước hoặc các mô hình thị giác máy tính được huấn luyện tùy chỉnh trong môi trường sản xuất là... Ultralytics Nền tảng được xây dựng thông qua các điểm cuối chuyên dụng. Một điểm cuối chuyên dụng cho phép bạn triển khai mô hình đã được huấn luyện như một dịch vụ riêng biệt, nhờ đó các ứng dụng có thể gửi hình ảnh đến mô hình đó và nhận dự đoán thông qua API.
Thay vì chỉ chạy mô hình trong môi trường huấn luyện hoặc sổ tay cục bộ, việc triển khai nó như một điểm cuối giúp nó có thể truy cập được bởi các ứng dụng thực tế. Ví dụ, một hệ thống kho hàng có thể gửi hình ảnh các kiện hàng để phát hiện đối tượng, một camera thông minh có thể phân tích các khung hình video hoặc một hệ thống robot có thể sử dụng các dự đoán để hướng dẫn hành động.
Mỗi điểm cuối chuyên dụng hoạt động như một dịch vụ độc lập, nghĩa là cơ sở hạ tầng chạy mô hình của bạn không được chia sẻ với người dùng khác. Điều này mang lại hiệu suất ổn định hơn và giúp dễ dàng giám sát cách mô hình hoạt động trong môi trường sản xuất.
Hiểu rõ chức năng của các điểm cuối suy luận chuyên dụng
Bạn có thể coi điểm cuối chuyên dụng như một dịch vụ được lưu trữ cho mô hình của mình. Ultralytics Nền tảng này cung cấp một URL điểm cuối duy nhất đóng vai trò là điểm truy cập cho các ứng dụng.
Khi một ứng dụng gửi yêu cầu đến URL đó, nó sẽ bao gồm một hình ảnh và các tham số tùy chọn như ngưỡng độ tin cậy hoặc kích thước hình ảnh, cùng với khóa API để xác thực.
Dịch vụ này thực hiện suy luận trên hình ảnh bằng cách sử dụng mô hình của bạn và trả về các dự đoán trong một phản hồi có cấu trúc. Thiết lập này cho phép các nhà phát triển tích hợp các mô hình thị giác máy tính vào các hệ thống thực tế bằng cách sử dụng các công cụ web tiêu chuẩn.
Các ứng dụng có thể gửi yêu cầu bằng cách sử dụng Python Sử dụng JavaScript, cURL hoặc các trình khách HTTP khác, giúp dễ dàng kết nối các mô hình với bảng điều khiển, hệ thống robot hoặc ứng dụng đám mây. Vì điểm cuối hoạt động độc lập, nó cũng có thể hỗ trợ mở rộng quy mô, giám sát và triển khai toàn cầu, giúp các nhóm xây dựng hệ thống thị giác máy tính sản xuất đáng tin cậy.
Triển khai đa vùng giúp cải thiện khả năng suy luận thời gian thực.
Một lợi thế quan trọng của các điểm cuối chuyên dụng trên Ultralytics Nền tảng này cho phép triển khai các mô hình trên 43 khu vực toàn cầu. Các khu vực này trải rộng khắp thế giới, bao gồm Bắc Mỹ, Nam Mỹ, Châu Âu, Châu Á Thái Bình Dương, Trung Đông và Châu Phi.
Hình 2. Ultralytics Nền tảng này hỗ trợ 43 khu vực toàn cầu ( Nguồn )
Việc triển khai các mô hình ở những khu vực gần hơn với nơi các ứng dụng đang chạy giúp giảm độ trễ, tức là thời gian cần thiết để ứng dụng gửi hình ảnh và nhận dự đoán. Điều này cũng có thể giúp các tổ chức đáp ứng các yêu cầu về bảo mật dữ liệu và nơi lưu trữ dữ liệu bằng cách giữ cho quá trình xử lý dữ liệu gần hơn với nơi dữ liệu được tạo ra.
Độ trễ thấp rất quan trọng đối với nhiều ứng dụng thị giác máy tính dựa trên suy luận thời gian thực, chẳng hạn như hệ thống robot, thiết bị Internet vạn vật (IoT), đường ống kiểm tra công nghiệp và cơ sở hạ tầng thành phố thông minh.
Ví dụ, nếu một ứng dụng được sử dụng chủ yếu ở châu Âu, việc triển khai mô hình trong khu vực châu Âu có thể cải thiện đáng kể thời gian phản hồi so với việc chạy mô hình ở một khu vực xa xôi.
Cách triển khai đến bất kỳ khu vực nào với Ultralytics Nền tảng
Việc triển khai mô hình đến một khu vực cụ thể rất đơn giản và thường chỉ mất vài phút. Nền tảng sẽ xử lý việc thiết lập cơ sở hạ tầng để các nhà phát triển có thể tập trung vào việc tích hợp mô hình vào ứng dụng của họ. Hãy cùng xem qua các bước thực hiện.
Bước 1: Huấn luyện hoặc tải lên mô hình
Trước khi triển khai, bạn cần có một mô hình đã được huấn luyện sẵn trong dự án của mình. Đây có thể là một mô hình được huấn luyện trực tiếp trên... Ultralytics Nền tảng, một mô hình được tải lên sau khi huấn luyện ở nơi khác, hoặc một mô hình được sao chép từ một dự án cộng đồng được tìm thấy trong tab “Khám phá”, nơi các dự án công khai được chia sẻ bởi những người dùng khác có thể được sao chép vào tài khoản của bạn chỉ bằng một cú nhấp chuột.
Sau khi mô hình đã sẵn sàng, hãy mở trang mô hình đó trong dự án của bạn để tiếp tục.
Bước 2: Mở tab Triển khai
Điều hướng đến tab Triển khai cho mô hình. Phần này của nền tảng cho phép bạn cấu hình và khởi chạy các bản triển khai.
Trên trang đó, bạn sẽ thấy một bảng khu vực và một bản đồ tương tác hiển thị các vị trí triển khai khả dụng trên toàn thế giới. Nền tảng này đo độ trễ từ vị trí của bạn và sắp xếp các khu vực tương ứng để giúp bạn chọn khu vực phù hợp nhất.
Hình 3. Các vùng được sắp xếp theo độ trễ trên Ultralytics Nền tảng ( Nguồn )
Bước 3: Chọn khu vực triển khai
Hãy chọn khu vực dựa trên vị trí của người dùng hoặc ứng dụng của bạn. Triển khai mô hình gần nguồn yêu cầu hơn có thể giảm đáng kể thời gian phản hồi.
Bước 4: Triển khai điểm cuối
Sau khi chọn khu vực và xác nhận cấu hình, bạn có thể nhấp vào Triển khai.
Sau đó, nền tảng sẽ chuẩn bị môi trường triển khai, tải ảnh mô hình, khởi động dịch vụ và thực hiện kiểm tra trạng thái để đảm bảo điểm cuối đã sẵn sàng. Quá trình này thường mất khoảng một đến hai phút.
Sau khi quá trình triển khai hoàn tất, nền tảng sẽ tạo ra một URL điểm cuối duy nhất mà các ứng dụng có thể sử dụng để gửi yêu cầu suy luận.
Hình 4. Một ví dụ về điểm cuối đã được triển khai ( Nguồn )
Bước 6: Bắt đầu gửi yêu cầu suy luận
Sau khi điểm cuối hoạt động, các ứng dụng có thể bắt đầu gửi hình ảnh đến mô hình bằng cách sử dụng phương thức được cung cấp. REST API Điểm cuối (endpoint) và khóa API được truyền trong tiêu đề Authorization. Điểm cuối xử lý từng yêu cầu và trả về các dự đoán như đối tượng được phát hiện, hộp giới hạn hoặc các đầu ra cụ thể khác cho từng tác vụ.
Giám sát hiệu suất mô hình và các chỉ số cho các điểm cuối đã triển khai.
Sau khi mô hình thị giác máy tính được triển khai, việc giám sát hiệu suất của nó trở thành một phần quan trọng để duy trì độ tin cậy và tính ổn định của hệ thống. Ngay cả một mô hình được huấn luyện tốt cũng cần được quan sát trong quá trình hoạt động để đảm bảo nó tiếp tục phản hồi nhanh chóng, xử lý các yêu cầu đến một cách chính xác và đưa ra các dự đoán chính xác.
Ultralytics Nền tảng cung cấp các công cụ giám sát tích hợp , giúp các nhóm có cái nhìn tổng quan về hiệu suất của các điểm cuối đã triển khai. Trang Triển khai của nền tảng hoạt động như một bảng điều khiển giám sát, cung cấp cái nhìn tổng quan tập trung về tất cả các điểm cuối đang chạy cùng với các chỉ số quan trọng giúp... track Tình trạng và mức độ sử dụng hệ thống.
Dưới đây là một số chỉ số bạn có thể theo dõi bằng Nền tảng:
Độ trễ P95: Chỉ số này đo thời gian phản hồi phía máy chủ ở phân vị thứ 95 đối với các yêu cầu suy luận. Nó cung cấp thông tin chi tiết về thời gian cần thiết cho hầu hết các yêu cầu suy luận và xác định các điểm chậm hiệu năng.
Tỷ lệ lỗi: Tỷ lệ này thể hiện phần trăm các yêu cầu bị lỗi hoặc trả về lỗi trong khoảng thời gian giám sát đã chọn. Việc giám sát tỷ lệ lỗi cho phép các nhóm nhanh chóng detect Các vấn đề liên quan đến triển khai hoặc yêu cầu đến.
Tổng số yêu cầu: Chỉ số này hiển thị tổng số yêu cầu suy luận được xử lý trên các điểm cuối đã triển khai trong khoảng thời gian đã chọn (ví dụ: 24 giờ qua). Nó giúp các nhóm hiểu được mức độ lưu lượng truy cập và tần suất sử dụng mô hình của họ.
Ngoài các chỉ số này, nền tảng còn cung cấp chức năng kiểm tra trạng thái thiết bị đầu cuối và nhật ký triển khai. Kiểm tra trạng thái cho biết liệu thiết bị đầu cuối có phản hồi chính xác hay không, trong khi nhật ký cung cấp thông tin chi tiết về các yêu cầu gần đây và hoạt động của hệ thống.
Những điều cần nhớ
Việc triển khai các mô hình thị giác máy tính là một bước quan trọng để biến các mô hình đã được huấn luyện thành các hệ thống hỗ trợ các ứng dụng thực tế. Với Ultralytics Nền tảng này cho phép các nhóm dễ dàng triển khai mô hình thông qua các điểm cuối chuyên dụng trên 43 khu vực toàn cầu, chạy suy luận thời gian thực thông qua API và giám sát hiệu suất từ một môi trường duy nhất. Bằng cách kết hợp các tùy chọn triển khai linh hoạt, giám sát tích hợp và cơ sở hạ tầng có khả năng mở rộng, nền tảng này giúp các nhà phát triển chuyển đổi nhanh hơn từ các mô hình học máy đã được huấn luyện sang các ứng dụng thị giác máy tính đáng tin cậy.