Điểm cuối suy luận chuyên dụng so với suy luận dùng chung để triển khai

Gần đây, chúng tôi đã giới thiệu Ultralytics Platform, một giải pháp toàn diện mang toàn bộ quy trình computer vision vào một nơi, từ khâu chuẩn bị dataset và huấn luyện model đến inference, triển khai và giám sát.

Được xây dựng dựa trên phản hồi từ cộng đồng computer vision, nền tảng này được thiết kế để đơn giản hóa từng giai đoạn phát triển bằng cách cung cấp các tính năng tích hợp hỗ trợ toàn bộ vòng đời của các ứng dụng vision AI.

Ví dụ, sau khi model được huấn luyện, bước tiếp theo là triển khai model để có thể sử dụng chạy inference và đưa ra dự đoán trong các ứng dụng thực tế. Nền tảng giúp quy trình này trở nên trực tiếp bằng cách cung cấp nhiều tùy chọn triển khai.

Bạn có thể export model để chạy trong môi trường của riêng mình, sử dụng shared inference để kiểm thử nhanh hoặc triển khai các dedicated endpoints cho các ứng dụng có khả năng mở rộng và sẵn sàng cho môi trường production. Mỗi tùy chọn triển khai này đều cho phép bạn chạy AI inference, nhưng chúng được thiết kế cho các giai đoạn và trường hợp sử dụng khác nhau.

Hình 1. Ultralytics Platform hỗ trợ triển khai model vision AI toàn cầu với khả năng mở rộng (Nguồn)

Export model giúp bạn toàn quyền kiểm soát để chạy model trong cơ sở hạ tầng của riêng mình, shared inference giúp việc kiểm thử và thử nghiệm trở nên đơn giản mà không cần thiết lập, và dedicated endpoints được xây dựng cho các khối lượng công việc production lớn và đáng tin cậy.

Thoạt nhìn, shared inference và dedicated endpoints có vẻ khá giống nhau. Cả hai đều cho phép bạn gửi yêu cầu API đến model của mình và nhận các dự đoán có cấu trúc, giúp việc tích hợp vision AI vào các ứng dụng trở nên dễ dàng.

Tuy nhiên, khi khối lượng công việc tăng lên và các ứng dụng computer vision bắt đầu xử lý các yêu cầu inference theo thời gian thực, sự khác biệt giữa các tùy chọn này trở nên quan trọng hơn. Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về shared inference và dedicated endpoints, cách so sánh chúng, khi nào nên sử dụng từng loại và tại sao dedicated endpoints trở thành lựa chọn tốt hơn khi ứng dụng của bạn mở rộng.

Link to this sectionTổng quan về việc triển khai sử dụng shared inference#

Shared inference là một cách đơn giản để chạy AI inference trên model của bạn mà không cần thiết lập bất kỳ cơ sở hạ tầng nào hoặc lo lắng về loại GPU, tích hợp framework hay cấu hình runtime. Sau khi model của bạn được huấn luyện hoặc tinh chỉnh (fine-tuned), bạn có thể sử dụng nó để đưa ra dự đoán trực tiếp thông qua nền tảng.

Trong thiết lập này, model của bạn chạy trên các tài nguyên tính toán dùng chung, đa người dùng (multi-tenant) tại một vài khu vực chính, chẳng hạn như Mỹ, Châu Âu và Châu Á - Thái Bình Dương. Các yêu cầu được tự động định tuyến đến các dịch vụ có sẵn, vì vậy bạn không cần cấu hình các instance GPU hay môi trường runtime. Mọi thứ đều được xử lý cho bạn, giúp việc bắt đầu trở nên dễ dàng.

Khi bạn sử dụng shared inference, bạn gửi yêu cầu đến model của mình thông qua REST API sử dụng các công cụ như Python hoặc CLI, và nhận đầu ra JSON có cấu trúc, chẳng hạn như các đối tượng được phát hiện, confidence scores và các chi tiết dự đoán khác. Điều này giúp việc kiểm thử model và tích hợp chúng vào ứng dụng trở nên liền mạch.

Vì hệ thống được chia sẻ, nó được thiết kế cho quá trình phát triển, kiểm thử và sử dụng nhẹ. Nó hoạt động tốt cho việc xác thực các dự đoán và xây dựng các tích hợp ban đầu. Đồng thời, hiệu năng có thể thay đổi tùy thuộc vào tải của hệ thống và việc sử dụng bị giới hạn tốc độ ở mức 20 yêu cầu mỗi phút cho mỗi API key, khiến nó ít phù hợp hơn với các khối lượng công việc production có lưu lượng truy cập cao.

Nhìn chung, shared inference phù hợp nhất cho giai đoạn phát triển ban đầu, nơi trọng tâm là tìm hiểu và cải thiện model của bạn trước khi chuyển sang các ứng dụng quy mô lớn hơn.

Link to this sectionTriển khai model trên toàn cầu sử dụng dedicated endpoints#

Dedicated endpoints là các dịch vụ inference đơn người dùng (single-tenant) nơi các model vision AI của bạn chạy trên các tài nguyên tính toán biệt lập. Thay vì chia sẻ cơ sở hạ tầng, mỗi endpoint có runtime riêng với các tài nguyên có thể cấu hình như CPU và bộ nhớ, mang lại cho bạn nhiều quyền kiểm soát hơn đối với hiệu năng.

Khi bạn triển khai một model dưới dạng dedicated endpoint, nó được gán một URL API duy nhất và sử dụng API key của bạn để xác thực, giúp việc tích hợp vào các ứng dụng trở nên dễ dàng. Các endpoint này có thể được triển khai trên 43 khu vực toàn cầu, cho phép bạn chạy inference gần người dùng của mình hơn và giảm độ trễ.

Hình 2. Bạn có thể triển khai dedicated endpoints tại 43 khu vực toàn cầu (Nguồn)

Một trong những ưu điểm chính là khả năng tự động mở rộng (autoscaling). Các endpoint tự động điều chỉnh dựa trên các yêu cầu đến, mở rộng để xử lý lưu lượng truy cập cao hơn và thu nhỏ khi nhu cầu giảm. Với tính năng scale-to-zero được bật theo mặc định, các endpoint có thể tắt khi nhàn rỗi và khởi động lại khi cần, giúp tối ưu hóa việc sử dụng tài nguyên.

Nói cách khác, dedicated endpoints được thiết kế cho các khối lượng công việc production. Chúng cung cấp độ trễ thấp nhất quán, thông lượng cao hơn và độ tin cậy lớn hơn so với shared inference.

Ngoài ra, dedicated endpoints không có giới hạn tốc độ. Các yêu cầu đi trực tiếp đến endpoint của bạn, vì vậy lưu lượng truy cập bạn có thể xử lý phụ thuộc vào thiết lập và khả năng mở rộng của bạn thay vì các giới hạn cố định.

Bên cạnh đó, tính năng giám sát tích hợp, logs, kiểm tra trạng thái (health checks), cũng như hành vi runtime và khởi động có thể dự đoán được giúp việc theo dõi hiệu năng và duy trì các triển khai ổn định trở nên đơn giản trên tất cả các gói dịch vụ. Trên gói Free, cold starts thường mất từ 5 đến 45 giây, trong khi các endpoint của gói Pro luôn duy trì trạng thái warm, dẫn đến hiệu năng inference nhanh hơn và dễ dự đoán hơn.

Nói một cách đơn giản, dedicated endpoints là lựa chọn lý tưởng cho các ứng dụng vision AI thời gian thực yêu cầu inference đáng tin cậy, có thể mở rộng và hiệu năng cao.

Link to this sectionShared inference vs dedicated endpoints: Những khác biệt cốt lõi#

Dưới đây là cái nhìn sâu hơn về cách so sánh giữa shared inference và dedicated endpoints:

• Độ trễ: Độ trễ có thể thay đổi trong các môi trường chia sẻ do việc dùng chung tài nguyên, trong khi dedicated endpoints cung cấp các phản hồi nhất quán và độ trễ thấp hơn.
• Khu vực: Shared inference khả dụng ở một vài khu vực (Mỹ, EU, AP), trong khi dedicated endpoints hỗ trợ triển khai trên 43 khu vực toàn cầu.
• Khả năng mở rộng: Khả năng mở rộng không thể cấu hình trong shared inference, trong khi dedicated endpoints tự động mở rộng dựa trên lưu lượng truy cập đến.
• Giới hạn tốc độ: Shared inference bị giới hạn tốc độ (20 yêu cầu hoặc cuộc gọi API mỗi phút cho mỗi API key), trong khi dedicated endpoints không có giới hạn tốc độ của nền tảng.
• Giá cả: Shared inference được bao gồm mà không mất thêm chi phí cho mục đích kiểm thử và phát triển, trong khi dedicated endpoints cung cấp nhiều quyền kiểm soát và khả năng mở rộng hơn, với mức sử dụng phụ thuộc vào cấu hình tài nguyên và nhu cầu triển khai.

Link to this sectionTại sao dedicated endpoints tốt hơn cho các khối lượng công việc production#

Khi các ứng dụng AI và machine learning chuyển từ thử nghiệm sang sử dụng thực tế, hiệu năng, khả năng mở rộng và độ tin cậy trở nên thiết yếu. Đó là lý do tại sao dedicated endpoints mang lại những ưu điểm rõ rệt so với shared inference.

Với dedicated endpoints, model đã huấn luyện hoặc custom model của bạn chạy trên các tài nguyên tính toán riêng của nó, vì vậy hiệu năng không bị ảnh hưởng bởi những người dùng khác. Điều này giúp giữ cho độ trễ thấp và nhất quán, điều quan trọng đối với các ứng dụng thời gian thực như phân tích video và hệ thống giám sát.

Hình 3. Cái nhìn về việc triển khai sử dụng một dedicated inference endpoint (Nguồn)

Ví dụ, hãy nghĩ về một hệ thống phân tích bán lẻ xử lý các nguồn cấp dữ liệu camera trực tiếp tại nhiều cửa hàng. Bằng cách triển khai các endpoint trên 43 khu vực toàn cầu, inference có thể chạy gần hơn với từng cửa hàng, giảm độ trễ và cải thiện thời gian phản hồi.

Với shared inference, nơi tài nguyên được chia sẻ và các khu vực bị hạn chế, hiệu năng có thể thay đổi trong các khoảng thời gian bận rộn.

Dedicated endpoints cũng có thể xử lý lưu lượng truy cập cao hơn và tự động mở rộng dựa trên nhu cầu. Với tính năng giám sát, logs và kiểm tra trạng thái tích hợp, chúng cung cấp hiệu năng dễ dự đoán hơn, khiến chúng trở nên phù hợp cho các khối lượng công việc AI quy mô lớn và liên tục.

Link to this sectionShared inference phù hợp ở đâu trong quy trình vision AI#

Khi bạn khám phá sự khác biệt giữa shared inference và dedicated endpoints, bạn có thể tự hỏi shared inference phù hợp ở đâu trong quy trình computer vision tổng thể.

Hãy xem lại ví dụ về phân tích bán lẻ. Trước khi triển khai một giải pháp vision trên nhiều cửa hàng, các đội ngũ thường cần kiểm tra cách nó hoạt động trên dữ liệu thực tế và tinh chỉnh nó dựa trên các kết quả đó.

Shared inference làm cho quy trình này trở nên đơn giản bằng cách cho phép bạn gửi hình ảnh mẫu hoặc khung hình video từ camera cửa hàng và nhanh chóng xem xét các dự đoán mà không cần thiết lập cơ sở hạ tầng. Điều này đặc biệt hữu ích để kiểm tra hành vi của model, gỡ lỗi các dự đoán sai và xác thực kết quả trong các điều kiện khác nhau, chẳng hạn như thay đổi ánh sáng hoặc bố cục cửa hàng.

Bằng cách lặp lại theo cách này, các đội ngũ có thể cải thiện độ chính xác và độ tin cậy của model trước khi chuyển sang production. Sau khi model hoạt động tốt trong các kịch bản kiểm thử này, nó sau đó có thể được triển khai lên các dedicated endpoints để sử dụng theo thời gian thực tại nhiều địa điểm.

Shared inference cũng có thể hoạt động tốt cho các ứng dụng có mức sử dụng thấp hoặc không thường xuyên. Ví dụ, một cửa hàng bán lẻ nhỏ có thể sử dụng nó để thỉnh thoảng phân tích lưu lượng khách hàng hoặc xem xét hoạt động của khách hàng vào các thời điểm cụ thể mà không cần một triển khai được mở rộng hoàn toàn. Trong những trường hợp này, nó cung cấp một cách đơn giản và tiết kiệm chi phí để chạy inference theo yêu cầu.

Link to this sectionCác trường hợp sử dụng thực tế của dedicated endpoints#

Khi các ứng dụng AI vượt ra ngoài giai đoạn kiểm thử, lựa chọn triển khai bắt đầu ảnh hưởng trực tiếp đến hiệu năng, khả năng mở rộng và trải nghiệm người dùng. Dedicated endpoints có thể được sử dụng rộng rãi trong các ngành công nghiệp vì chúng cung cấp hiệu năng ổn định, độ trễ thấp và khả năng xử lý các khối lượng công việc quy mô lớn.

Dưới đây là một số trường hợp sử dụng phổ biến cho thấy cách dedicated endpoints có thể được sử dụng trong các ứng dụng thực tế:

• Bán lẻ và phân tích video: Một chuỗi cửa hàng bán lẻ có thể sử dụng computer vision để theo dõi chuyển động của khách hàng, xác định các sản phẩm phổ biến và giám sát hoạt động tại cửa hàng trong thời gian thực. Các dedicated endpoint giúp duy trì quá trình inference nhanh và nhất quán trên nhiều địa điểm cửa hàng, ngay cả trong những giờ cao điểm.
• Sản xuất và kiểm định chất lượng: Trên dây chuyền sản xuất, các model có thể phát hiện lỗi hoặc điểm bất thường khi sản phẩm di chuyển qua hệ thống. Các dedicated endpoint hỗ trợ quá trình inference liên tục, theo thời gian thực, giúp các đội ngũ phát hiện vấn đề sớm và duy trì chất lượng sản phẩm mà không làm chậm các hoạt động vận hành.
• Chăm sóc sức khỏe và chẩn đoán hình ảnh y tế: Các đơn vị cung cấp dịch vụ chăm sóc sức khỏe và phòng thí nghiệm chẩn đoán có thể dựa vào các vision model để phân tích hình ảnh y tế như X-quang hoặc bản quét. Các dedicated endpoint cung cấp hiệu suất đáng tin cậy, nhất quán, vốn rất quan trọng khi xử lý dữ liệu nhạy cảm và các chẩn đoán yêu cầu thời gian khắt khe.
• Tự động hóa kho bãi và logistics: Các kho hàng lớn thường vận hành nhiều hệ thống giống hệt nhau, chẳng hạn như băng chuyền và các dòng phân loại, hoạt động hiệu quả như các bản sao của cùng một thiết lập. Các model computer vision có thể giám sát từng bản sao để phát hiện các vấn đề như kẹt hoặc các gói hàng bị gửi sai tuyến. Dedicated endpoints đảm bảo inference nhất quán trên tất cả các bản sao theo thời gian thực.

Link to this sectionChuyển đổi từ shared inference sang dedicated endpoints#

Một trong những lợi ích chính của Ultralytics Platform là sự đơn giản khi chuyển từ shared inference sang dedicated endpoints khi ứng dụng của bạn phát triển. Thay vì chuyển đổi công cụ hoặc xây dựng lại thiết lập của mình, bạn có thể chuyển đổi sang triển khai sẵn sàng cho production trong cùng một môi trường.

Sau khi kiểm thử model của bạn với shared inference, việc chuyển sang một dedicated endpoint là bước tiếp theo đơn giản. Bạn có thể triển khai cùng một model lên một endpoint, chọn khu vực và tài nguyên tính toán ưa thích, và cập nhật URL endpoint trong ứng dụng của mình. Việc tích hợp tổng thể vẫn tương tự, vì vậy có ít hoặc không có thay đổi nào trong cách bạn gửi yêu cầu hoặc xử lý các phản hồi.

Hình 4. Xem URL dedicated endpoint trên Ultralytics Platform (Nguồn)

Điều này có nghĩa là bạn có thể mở rộng từ kiểm thử sang production với vài cú nhấp chuột. Khi khối lượng công việc của bạn tăng lên hoặc ứng dụng yêu cầu hiệu năng ổn định hơn, bạn có thể chuyển sang dedicated endpoints mà không làm gián đoạn quy trình hiện tại của mình.

Để tìm hiểu thêm về việc triển khai model sử dụng dedicated endpoints trên Ultralytics Platform, hãy xem tài liệu chính thức Ultralytics Platform docs.

Link to this sectionCác điểm chính cần lưu ý#

Shared inference là một điểm khởi đầu tuyệt vời cho việc kiểm thử và thử nghiệm, nhưng các khối lượng công việc production đòi hỏi sự nhất quán và quy mô lớn hơn. Khi các ứng dụng phát triển, dedicated endpoints cung cấp hiệu năng và độ tin cậy cần thiết để hỗ trợ việc sử dụng thực tế. Điều này làm cho chúng trở thành lựa chọn tốt nhất cho hầu hết các triển khai production.

Hãy tham gia cộng đồng của chúng tôi và khám phá GitHub repository để tìm hiểu thêm về các computer vision model. Đọc về các ứng dụng như AI trong nông nghiệp và computer vision trong robot trên các trang giải pháp của chúng tôi. Hãy kiểm tra các tùy chọn cấp phép của chúng tôi và bắt đầu với vision AI.