Điểm cuối suy luận chuyên dụng so với suy luận dùng chung để triển khai

Gần đây, chúng tôi đã giới thiệu Ultralytics Platform, một giải pháp toàn diện đưa toàn bộ quy trình làm việc về computer vision vào một nơi, từ chuẩn bị dataset và huấn luyện model cho đến inference, deployment và monitoring.

Được xây dựng dựa trên phản hồi từ cộng đồng computer vision, nền tảng này được thiết kế để đơn giản hóa từng giai đoạn phát triển bằng cách cung cấp các tính năng tích hợp hỗ trợ toàn bộ vòng đời của các ứng dụng vision AI.

Ví dụ, khi một model được huấn luyện xong, bước tiếp theo là deploy nó để có thể sử dụng cho việc chạy inference và đưa ra dự đoán trong các ứng dụng thực tế. Nền tảng này giúp quá trình đó trở nên đơn giản bằng cách cung cấp nhiều tùy chọn deployment.

Bạn có thể export model để chạy trong môi trường của riêng mình, sử dụng shared inference để kiểm thử nhanh hoặc triển khai các dedicated endpoints cho các ứng dụng có khả năng mở rộng và sẵn sàng cho môi trường production. Mỗi tùy chọn triển khai này đều cho phép bạn chạy AI inference, nhưng chúng được thiết kế cho các giai đoạn và trường hợp sử dụng khác nhau.

Hình 1. Ultralytics Platform cho phép deployment model vision AI toàn cầu có khả năng mở rộng (Nguồn)

Export model giúp bạn toàn quyền kiểm soát để chạy model trong cơ sở hạ tầng của riêng mình, shared inference giúp việc kiểm thử và thử nghiệm trở nên đơn giản mà không cần thiết lập, và dedicated endpoints được xây dựng cho các khối lượng công việc production lớn và đáng tin cậy.

Thoạt nhìn, shared inference và dedicated endpoints có vẻ khá giống nhau. Cả hai đều cho phép bạn gửi yêu cầu API đến model của mình và nhận các dự đoán có cấu trúc, giúp việc tích hợp vision AI vào các ứng dụng trở nên dễ dàng.

Tuy nhiên, khi khối lượng công việc tăng lên và các ứng dụng computer vision bắt đầu xử lý các yêu cầu inference theo thời gian thực, sự khác biệt giữa các tùy chọn này trở nên quan trọng hơn. Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về shared inference và dedicated endpoints, cách so sánh chúng, khi nào nên sử dụng từng loại và tại sao dedicated endpoints trở thành lựa chọn tốt hơn khi ứng dụng của bạn mở rộng.

Tổng quan về việc triển khai sử dụng shared inference#

Shared inference là một cách đơn giản để chạy AI inference trên các model của bạn mà không cần thiết lập cơ sở hạ tầng hay lo lắng về các loại GPU, tích hợp framework hoặc cấu hình runtime. Khi model của bạn đã được huấn luyện hoặc fine-tune, bạn có thể sử dụng nó để đưa ra dự đoán trực tiếp thông qua nền tảng.

Trong thiết lập này, model của bạn chạy trên các tài nguyên tính toán dùng chung, đa người dùng (multi-tenant) tại một vài khu vực chính, chẳng hạn như Mỹ, Châu Âu và Châu Á - Thái Bình Dương. Các yêu cầu được tự động định tuyến đến các dịch vụ có sẵn, vì vậy bạn không cần cấu hình các instance GPU hay môi trường runtime. Mọi thứ đều được xử lý cho bạn, giúp việc bắt đầu trở nên dễ dàng.

Khi bạn sử dụng shared inference, bạn gửi yêu cầu đến model của mình thông qua REST API sử dụng các công cụ như Python hoặc CLI, và nhận đầu ra JSON có cấu trúc, chẳng hạn như các đối tượng được phát hiện, confidence scores và các chi tiết dự đoán khác. Điều này giúp việc kiểm thử model và tích hợp chúng vào ứng dụng trở nên liền mạch.

Vì hệ thống được chia sẻ, nó được thiết kế cho quá trình phát triển, kiểm thử và sử dụng nhẹ. Nó hoạt động tốt cho việc xác thực các dự đoán và xây dựng các tích hợp ban đầu. Đồng thời, hiệu năng có thể thay đổi tùy thuộc vào tải của hệ thống và việc sử dụng bị giới hạn tốc độ ở mức 20 yêu cầu mỗi phút cho mỗi API key, khiến nó ít phù hợp hơn với các khối lượng công việc production có lưu lượng truy cập cao.

Nhìn chung, shared inference phù hợp nhất cho giai đoạn phát triển ban đầu, nơi trọng tâm là tìm hiểu và cải thiện model của bạn trước khi chuyển sang các ứng dụng quy mô lớn hơn.

Triển khai model trên toàn cầu sử dụng dedicated endpoints#

Dedicated endpoints là các dịch vụ inference đơn thuê bao (single-tenant), nơi các model vision AI của bạn chạy trên các tài nguyên tính toán được cô lập. Thay vì chia sẻ cơ sở hạ tầng, mỗi endpoint có một runtime riêng với các tài nguyên có thể định cấu hình như CPU và memory, mang lại cho bạn khả năng kiểm soát hiệu năng tốt hơn.

Khi bạn deploy một model dưới dạng dedicated endpoint, nó được gán một URL API duy nhất và sử dụng khóa API của bạn để xác thực, giúp dễ dàng tích hợp vào các ứng dụng. Các endpoint này có thể được deploy trên 43 khu vực toàn cầu, cho phép bạn chạy inference gần hơn với người dùng của mình và giảm độ trễ.

Hình 2. Bạn có thể deploy dedicated endpoints ở 43 khu vực toàn cầu (Nguồn)

Một trong những ưu điểm chính là khả năng tự động mở rộng (autoscaling). Các endpoint tự động điều chỉnh dựa trên các yêu cầu đến, mở rộng để xử lý lưu lượng truy cập cao hơn và thu nhỏ khi nhu cầu giảm. Với tính năng scale-to-zero được bật theo mặc định, các endpoint có thể tắt khi nhàn rỗi và khởi động lại khi cần, giúp tối ưu hóa việc sử dụng tài nguyên.

Nói cách khác, dedicated endpoints được thiết kế cho các khối lượng công việc production. Chúng cung cấp độ trễ thấp nhất quán, thông lượng cao hơn và độ tin cậy lớn hơn so với shared inference.

Ngoài ra, dedicated endpoints không có giới hạn tốc độ. Các yêu cầu đi trực tiếp đến endpoint của bạn, vì vậy lưu lượng truy cập bạn có thể xử lý phụ thuộc vào thiết lập và khả năng mở rộng của bạn thay vì các giới hạn cố định.

Bên cạnh đó, tính năng giám sát tích hợp, logs, kiểm tra trạng thái (health checks), cũng như hành vi runtime và khởi động có thể dự đoán được giúp việc theo dõi hiệu năng và duy trì các triển khai ổn định trở nên đơn giản trên tất cả các gói dịch vụ. Trên gói Free, cold starts thường mất từ 5 đến 45 giây, trong khi các endpoint của gói Pro luôn duy trì trạng thái warm, dẫn đến hiệu năng inference nhanh hơn và dễ dự đoán hơn.

Nói một cách đơn giản, dedicated endpoints là lựa chọn lý tưởng cho các ứng dụng vision AI thời gian thực yêu cầu inference đáng tin cậy, có thể mở rộng và hiệu năng cao.

Shared inference vs dedicated endpoints: Những khác biệt cốt lõi#

Dưới đây là cái nhìn sâu hơn về cách so sánh giữa shared inference và dedicated endpoints:

• Độ trễ: Độ trễ có thể thay đổi trong các môi trường chia sẻ do việc dùng chung tài nguyên, trong khi dedicated endpoints cung cấp các phản hồi nhất quán và độ trễ thấp hơn.
• Khu vực: Shared inference khả dụng ở một vài khu vực (Mỹ, EU, AP), trong khi dedicated endpoints hỗ trợ triển khai trên 43 khu vực toàn cầu.
• Khả năng mở rộng: Khả năng mở rộng không thể cấu hình trong shared inference, trong khi dedicated endpoints tự động mở rộng dựa trên lưu lượng truy cập đến.
• Giới hạn tốc độ: Shared inference bị giới hạn tốc độ (20 yêu cầu hoặc cuộc gọi API mỗi phút cho mỗi API key), trong khi dedicated endpoints không có giới hạn tốc độ của nền tảng.
• Giá cả: Shared inference được bao gồm mà không mất thêm chi phí cho mục đích kiểm thử và phát triển, trong khi dedicated endpoints cung cấp nhiều quyền kiểm soát và khả năng mở rộng hơn, với mức sử dụng phụ thuộc vào cấu hình tài nguyên và nhu cầu triển khai.

Tại sao dedicated endpoints tốt hơn cho các khối lượng công việc production#

Khi các ứng dụng AI và machine learning chuyển từ thử nghiệm sang sử dụng thực tế, hiệu năng, khả năng mở rộng và độ tin cậy trở nên thiết yếu. Đó là lý do tại sao dedicated endpoints mang lại những ưu điểm rõ rệt so với shared inference.

Với dedicated endpoints, model đã huấn luyện hoặc custom model của bạn chạy trên các tài nguyên tính toán riêng của nó, vì vậy hiệu năng không bị ảnh hưởng bởi những người dùng khác. Điều này giúp giữ cho độ trễ thấp và nhất quán, điều quan trọng đối với các ứng dụng thời gian thực như phân tích video và hệ thống giám sát.

Hình 3. Cái nhìn tổng quan về việc deploy bằng dedicated inference endpoint (Nguồn)

Ví dụ, hãy nghĩ về một hệ thống phân tích bán lẻ xử lý các nguồn cấp dữ liệu camera trực tiếp tại nhiều cửa hàng. Bằng cách triển khai các endpoint trên 43 khu vực toàn cầu, inference có thể chạy gần hơn với từng cửa hàng, giảm độ trễ và cải thiện thời gian phản hồi.

Với shared inference, nơi tài nguyên được chia sẻ và các khu vực bị hạn chế, hiệu năng có thể thay đổi trong các khoảng thời gian bận rộn.

Dedicated endpoints cũng có thể xử lý lưu lượng truy cập cao hơn và tự động mở rộng dựa trên nhu cầu. Với tính năng giám sát, logs và kiểm tra trạng thái tích hợp, chúng cung cấp hiệu năng dễ dự đoán hơn, khiến chúng trở nên phù hợp cho các khối lượng công việc AI quy mô lớn và liên tục.

Shared inference phù hợp ở đâu trong quy trình vision AI#

Khi bạn khám phá sự khác biệt giữa shared inference và dedicated endpoints, bạn có thể tự hỏi shared inference phù hợp ở đâu trong quy trình computer vision tổng thể.

Hãy xem lại ví dụ về phân tích bán lẻ. Trước khi triển khai một giải pháp vision trên nhiều cửa hàng, các đội ngũ thường cần kiểm tra cách nó hoạt động trên dữ liệu thực tế và tinh chỉnh nó dựa trên các kết quả đó.

Shared inference làm cho quy trình này trở nên đơn giản bằng cách cho phép bạn gửi hình ảnh mẫu hoặc khung hình video từ camera cửa hàng và nhanh chóng xem xét các dự đoán mà không cần thiết lập cơ sở hạ tầng. Điều này đặc biệt hữu ích để kiểm tra hành vi của model, gỡ lỗi các dự đoán sai và xác thực kết quả trong các điều kiện khác nhau, chẳng hạn như thay đổi ánh sáng hoặc bố cục cửa hàng.

Bằng cách lặp lại theo cách này, các đội ngũ có thể cải thiện độ chính xác và độ tin cậy của model trước khi chuyển sang production. Sau khi model hoạt động tốt trong các kịch bản kiểm thử này, nó sau đó có thể được triển khai lên các dedicated endpoints để sử dụng theo thời gian thực tại nhiều địa điểm.

Shared inference cũng có thể hoạt động tốt cho các ứng dụng có mức sử dụng thấp hoặc không thường xuyên. Ví dụ, một cửa hàng bán lẻ nhỏ có thể sử dụng nó để thỉnh thoảng phân tích lưu lượng khách hàng hoặc xem xét hoạt động của khách hàng vào các thời điểm cụ thể mà không cần một triển khai được mở rộng hoàn toàn. Trong những trường hợp này, nó cung cấp một cách đơn giản và tiết kiệm chi phí để chạy inference theo yêu cầu.

Các trường hợp sử dụng thực tế của dedicated endpoints#

Khi các ứng dụng AI vượt ra ngoài giai đoạn kiểm thử, lựa chọn triển khai bắt đầu ảnh hưởng trực tiếp đến hiệu năng, khả năng mở rộng và trải nghiệm người dùng. Dedicated endpoints có thể được sử dụng rộng rãi trong các ngành công nghiệp vì chúng cung cấp hiệu năng ổn định, độ trễ thấp và khả năng xử lý các khối lượng công việc quy mô lớn.

Dưới đây là một số trường hợp sử dụng phổ biến cho thấy cách dedicated endpoints có thể được sử dụng trong các ứng dụng thực tế:

• Bán lẻ và phân tích video: Một chuỗi cửa hàng bán lẻ có thể sử dụng computer vision để theo dõi chuyển động của khách hàng, xác định các sản phẩm phổ biến và giám sát hoạt động cửa hàng theo thời gian thực. Dedicated endpoints giúp inference diễn ra nhanh chóng và nhất quán tại nhiều địa điểm cửa hàng, ngay cả trong giờ cao điểm.
• Sản xuất và kiểm tra chất lượng: Trên dây chuyền sản xuất, các model có thể phát hiện lỗi hoặc điểm bất thường khi sản phẩm di chuyển qua hệ thống. Dedicated endpoints hỗ trợ inference liên tục, theo thời gian thực, giúp các nhóm phát hiện sớm các vấn đề và duy trì chất lượng sản phẩm mà không làm chậm các hoạt động.
• Y tế và chẩn đoán hình ảnh y khoa: Các cơ sở y tế và phòng thí nghiệm chẩn đoán có thể dựa vào các model vision để phân tích hình ảnh y khoa như phim X-quang hoặc bản scan. Dedicated endpoints mang lại hiệu năng đáng tin cậy và nhất quán, điều tối quan trọng khi xử lý dữ liệu nhạy cảm và các chẩn đoán đòi hỏi thời gian gấp rút.
• Tự động hóa kho bãi và logistics: Các kho hàng lớn thường vận hành nhiều hệ thống giống hệt nhau, chẳng hạn như băng chuyền và các dòng phân loại, hoạt động hiệu quả như các bản sao của cùng một thiết lập. Các model computer vision có thể giám sát từng bản sao để phát hiện các vấn đề như kẹt hoặc các gói hàng bị gửi sai tuyến. Dedicated endpoints đảm bảo inference nhất quán trên tất cả các bản sao theo thời gian thực.

Chuyển đổi từ shared inference sang dedicated endpoints#

Một trong những lợi ích chính của Ultralytics Platform là sự đơn giản khi chuyển từ shared inference sang dedicated endpoints khi ứng dụng của bạn phát triển. Thay vì chuyển đổi công cụ hoặc xây dựng lại thiết lập của mình, bạn có thể chuyển đổi sang triển khai sẵn sàng cho production trong cùng một môi trường.

Sau khi kiểm thử model của bạn với shared inference, việc chuyển sang một dedicated endpoint là bước tiếp theo đơn giản. Bạn có thể triển khai cùng một model lên một endpoint, chọn khu vực và tài nguyên tính toán ưa thích, và cập nhật URL endpoint trong ứng dụng của mình. Việc tích hợp tổng thể vẫn tương tự, vì vậy có ít hoặc không có thay đổi nào trong cách bạn gửi yêu cầu hoặc xử lý các phản hồi.

Hình 4. Xem URL của dedicated endpoint trên Ultralytics Platform (Nguồn)

Điều này có nghĩa là bạn có thể mở rộng từ kiểm thử sang production với vài cú nhấp chuột. Khi khối lượng công việc của bạn tăng lên hoặc ứng dụng yêu cầu hiệu năng ổn định hơn, bạn có thể chuyển sang dedicated endpoints mà không làm gián đoạn quy trình hiện tại của mình.

Để tìm hiểu thêm về cách deploy model sử dụng dedicated endpoints trên Ultralytics Platform, hãy xem tài liệu chính thức Ultralytics Platform docs.

Các điểm chính cần lưu ý#

Shared inference là một điểm khởi đầu tuyệt vời cho việc kiểm thử và thử nghiệm, nhưng các khối lượng công việc production đòi hỏi sự nhất quán và quy mô lớn hơn. Khi các ứng dụng phát triển, dedicated endpoints cung cấp hiệu năng và độ tin cậy cần thiết để hỗ trợ việc sử dụng thực tế. Điều này làm cho chúng trở thành lựa chọn tốt nhất cho hầu hết các triển khai production.

Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về các model computer vision. Đọc về các ứng dụng như AI trong nông nghiệp và computer vision trong robot trên các trang giải pháp của chúng tôi. Xem các tùy chọn cấp phép của chúng tôi và bắt đầu với vision AI.