Triển khai thị giác máy tính trên cloud được quản lý và tự lưu trữ

Triển khai cloud được quản lý thường là cách nhanh hơn để ra mắt dịch vụ thị giác máy tính. Tự lưu trữ thường là lựa chọn tốt hơn khi độ trễ, ranh giới dữ liệu hoặc quyền kiểm soát hạ tầng là yêu cầu bắt buộc. Khó khăn nằm ở chỗ các nhóm thường so sánh hai lựa chọn trước khi xác định phần nào của hệ thống họ muốn kiểm soát.

Ứng dụng thị giác có ít nhất bốn vị trí cần quyết định: nơi lưu trữ ảnh, nơi huấn luyện model, nơi chạy inference và nơi chạy ứng dụng xung quanh. Những lựa chọn đó không nhất thiết phải giống nhau. Một nhóm có thể lưu ảnh nguồn và huấn luyện trên hạ tầng riêng, chạy inference trên thiết bị edge, đồng thời vẫn dùng nền tảng được quản lý để theo dõi thử nghiệm và quản lý model.

Các model Ultralytics YOLO hỗ trợ quy trình làm việc có tính di động như vậy. Ultralytics Platform có thể quản lý dữ liệu và vòng đời huấn luyện, trong khi các model đã xuất có thể chạy trên hạ tầng phù hợp với ứng dụng. Vì vậy, lựa chọn đúng không phải lúc nào cũng là cloud hoặc tự lưu trữ. Thông thường, đó là mô hình hybrid với ranh giới được xác định rõ cho từng thành phần.

So sánh nhanh cloud được quản lý, tự lưu trữ và hybrid#

Chọn cloud được quản lý khi tốc độ, nhu cầu biến động và đội ngũ hạ tầng nhỏ là những yếu tố quan trọng nhất. Chọn tự lưu trữ khi khối lượng công việc phải nằm trong môi trường được kiểm soát hoặc inference phải tiếp tục mà không có kết nối mạng. Chọn hybrid khi dữ liệu, huấn luyện và inference có các yêu cầu khác nhau.

Cloud được quản lý có ý nghĩa gì đối với thị giác máy tính#

Trong mô hình triển khai được quản lý, nhà cung cấp vận hành một phần hoặc toàn bộ hạ tầng phục vụ model. Nhóm cung cấp model hoặc chọn model được quản lý, cấu hình endpoint và thanh toán cho tài nguyên hoặc yêu cầu mà nhóm sử dụng.

Nhà cung cấp có thể xử lý việc cấp phát endpoint, kiểm tra tình trạng, tự động mở rộng quy mô, cập nhật lớp phục vụ và tích hợp với stack giám sát của họ. Điều đó loại bỏ nhiều công việc về nền tảng, nhưng không loại bỏ trách nhiệm đối với ứng dụng. Nhóm vẫn chịu trách nhiệm về chất lượng model, xác thực đầu vào, logic nghiệp vụ, chính sách truy cập và quyết định ảnh nào được phép gửi đến dịch vụ.

Cloud được quản lý phù hợp nhất khi lưu lượng thay đổi đáng kể theo thời gian, tổ chức đã sử dụng cloud đó và độ trễ khứ hồi qua mạng nằm trong ngân sách độ trễ. Cloud được quản lý cũng hữu ích trong giai đoạn pilot, khi đầu tư và vận hành đội GPU chuyên dụng sẽ khiến chi phí phát sinh sớm trước khi hiểu rõ khối lượng công việc.

Đánh đổi là sự phụ thuộc vào mô hình endpoint, khu vực, hạn mức và cơ cấu giá của nhà cung cấp. Dịch vụ có chi phí thấp ở quy mô pilot có thể trở thành khoản chi production lớn nhất nếu mọi camera đều gửi mọi khung hình lên cloud.

Tự lưu trữ có ý nghĩa gì đối với thị giác máy tính#

Triển khai tự lưu trữ nghĩa là tổ chức vận hành hạ tầng phục vụ model. Đó có thể là máy chủ trong trung tâm dữ liệu, cụm Kubernetes, máy tính công nghiệp cạnh dây chuyền sản xuất hoặc thiết bị nhúng kết nối với camera.

Tổ chức kiểm soát luồng dữ liệu và thời điểm thay đổi phần mềm. Tổ chức cũng chịu trách nhiệm về lập kế hoạch năng lực, driver GPU, khả năng tương thích runtime, triển khai model, khả năng quan sát, cập nhật bảo mật, sao lưu và khôi phục. “Chạy trên phần cứng của chúng tôi” chưa phải mô hình vận hành cho đến khi mỗi công việc trong số đó có người phụ trách.

Tự lưu trữ phù hợp nhất khi inference phải tiếp tục ngoại tuyến, ảnh không thể rời khỏi cơ sở hoặc khối lượng công việc lớn, ổn định khiến compute chuyên dụng trở nên kinh tế. Đây cũng là lựa chọn tự nhiên cho các ứng dụng cần trả kết quả trong giới hạn độ trễ mà khứ hồi qua cloud không thể đáp ứng.

Đánh đổi là độ phức tạp vận hành. Một container hoạt động trên một GPU không đồng nghĩa với một dịch vụ production đáng tin cậy trên nhiều cơ sở.

So sánh chi phí thực tế#

Đừng so sánh giá mỗi yêu cầu của endpoint cloud với giá mua máy chủ. Hãy so sánh tổng chi phí hệ thống trong cùng khoảng thời gian và với cùng khối lượng công việc.

Đối với cloud được quản lý, hãy tính:

• compute inference và mọi dung lượng tối thiểu được cấp phát;
• lưu trữ và truyền dữ liệu;
• giám sát, ghi log và các hiện vật được lưu giữ;
• endpoint phát triển và staging;
• tài nguyên nhàn rỗi vẫn hoạt động giữa các đợt tải; và
• thời gian kỹ thuật dành cho tích hợp dịch vụ và kiểm soát chi phí.

Đối với tự lưu trữ, hãy tính:

• máy chủ, thiết bị biên, bộ tăng tốc và công suất dự phòng;
• lắp đặt, nguồn điện, làm mát và quyền tiếp cận địa điểm;
• hạ tầng điều phối, giám sát và cập nhật;
• thời gian nhân sự dành cho driver, runtime, bảo mật và xử lý sự cố;
• phần cứng thay thế và hỗ trợ; và
• công suất dự phòng cho các đợt cao điểm hoặc sự cố.

Đặc điểm tải công việc sẽ ảnh hưởng đến lựa chọn. Cloud hấp dẫn với nhu cầu khó dự đoán hoặc tăng đột biến vì có thể bổ sung công suất mà không cần mua phần cứng. Hạ tầng chuyên dụng trở nên hấp dẫn hơn khi mức sử dụng cao và ổn định, với điều kiện tổ chức đã có nhân sự vận hành.

So sánh độ trễ và băng thông#

Tải công việc thị giác máy tính đặc biệt nhạy cảm với việc di chuyển dữ liệu. Hình ảnh và video có dung lượng lớn hơn nhiều so với payload API thông thường, và camera có thể tạo ra nhiều frame hơn mức ứng dụng cần phân tích.

Bắt đầu bằng ngân sách độ trễ đầu-cuối của ứng dụng. Tính cả thời gian thu nhận, mã hóa, truyền qua mạng, xếp hàng, suy luận và trả quyết định về cho máy móc hoặc người dùng. Nếu kết quả điều khiển robot, dây chuyền sản xuất hoặc cảnh báo an toàn, có thể cần suy luận tại chỗ ngay cả khi việc quản lý model vẫn diễn ra trên cloud.

Băng thông là một giới hạn riêng. Việc gửi video liên tục đến endpoint từ xa có thể chiếm phần lớn chi phí và không hoạt động khi kết nối không ổn định. Hệ thống biên có thể chạy suy luận cục bộ và chỉ gửi sự kiện, metadata hoặc các frame được chọn lên hệ thống trung tâm.

So sánh quyền riêng tư và ranh giới dữ liệu#

“Tại chỗ” và “riêng tư” không đồng nghĩa. Hệ thống tự lưu trữ vẫn có thể được bảo mật kém, còn dịch vụ được quản lý có thể cung cấp các biện pháp kiểm soát mạnh. Quyết định bắt đầu từ sơ đồ dữ liệu:

• nơi thu nhận và lưu trữ ảnh nguồn;
• liệu ảnh dẫn xuất hoặc ảnh cắt có rời khỏi địa điểm hay không;
• nơi lưu trữ nhãn và chú thích;
• những tạo phẩm model nào mã hóa thông tin đã học từ dữ liệu;
• nhân sự và hệ thống nào có thể truy cập từng lớp; và
• thời gian lưu giữ log, yêu cầu và đầu ra.

Tích hợp On Premise của Ultralytics Platform cho thấy vì sao cần xác định cụ thể ranh giới dữ liệu. Pixel của tập dữ liệu nguồn và dẫn xuất vẫn nằm trên máy tính được kết nối trong quá trình nhập dữ liệu, xem trước và huấn luyện. Lớp, nhãn và chú thích được lưu dưới dạng metadata của Platform, các chỉ số huấn luyện được truyền đến Platform và checkpoint tốt nhất được tải lên để dùng trong các workflow sau này. Thiết kế này giữ pixel của tập dữ liệu tại chỗ mà không khẳng định mọi tạo phẩm đều ở lại đó.

Trước khi xem đây là một biện pháp kiểm soát tuân thủ, hãy đối chiếu tài liệu On Premise hiện hành của Ultralytics Platform với các yêu cầu của tổ chức.

So sánh khả năng mở rộng và độ tin cậy#

Các Platform được quản lý có thể giảm công sức cần thiết để bổ sung công suất endpoint, nhưng tự động mở rộng không diễn ra tức thì và dịch vụ nào cũng có giới hạn. Hãy đo thời gian khởi động nguội, hành vi xếp hàng và công suất khả dụng tại khu vực cần dùng.

Mở rộng quy mô hệ thống tự lưu trữ đòi hỏi kỹ thuật có chủ đích. Nhóm quyết định cách đóng gói model, cân bằng yêu cầu, lập lịch GPU và xử lý khi một node gặp sự cố. Kubernetes có thể giúp điều phối hạ tầng đó, nhưng không quyết định số lượng replica phù hợp, chính sách triển khai phiên bản mới hay mục tiêu độ trễ.

Với đội thiết bị biên, độ tin cậy không chỉ là thời gian hoạt động của endpoint. Thiết bị có thể mất kết nối, chạy trên các phiên bản phần cứng khác nhau và bỏ lỡ bản cập nhật. Kế hoạch đưa vào sản xuất cần có quản lý phiên bản model, triển khai theo từng giai đoạn, khôi phục phiên bản trước và cách chẩn đoán sự cố mà không phải đến từng địa điểm.

Ba mô hình triển khai thực tiễn#

Huấn luyện và suy luận được quản lý#

Dùng mô hình này khi nhóm muốn nhanh chóng đưa tập dữ liệu lên endpoint và độ trễ cloud có thể chấp nhận được. Mô hình này giảm thiểu trách nhiệm sở hữu hạ tầng, phù hợp với các dự án thử nghiệm, công cụ nội bộ và dịch vụ có nhu cầu biến động.

Các biện pháp kiểm soát chính gồm giới hạn chi phí, xử lý dữ liệu theo khu vực, quyền truy cập endpoint và phương án xuất dữ liệu nếu sau này cần chuyển dịch vụ.

Huấn luyện được quản lý và suy luận tự lưu trữ#

Dùng mô hình này khi điện toán cloud giúp đơn giản hóa quá trình phát triển model nhưng suy luận phải chạy cục bộ. Huấn luyện và đánh giá trong môi trường được quản lý, xuất model đã kiểm thử rồi triển khai lên thiết bị biên hoặc trung tâm dữ liệu.

Mô hình này phổ biến trong sản xuất và robot vì việc lặp lại quy trình phát triển model được hưởng lợi từ điện toán được quản lý, trong khi các quyết định trong sản xuất không thể phụ thuộc vào một lượt truyền dữ liệu qua mạng.

Dữ liệu và huấn luyện cục bộ cùng các công cụ quản lý vòng đời được quản lý#

Dùng mô hình này khi dữ liệu nguồn phải nằm trên hạ tầng được kiểm soát nhưng nhóm vẫn muốn có giao diện dùng chung cho việc chú thích, chỉ số và quản lý model. Ultralytics Platform On Premise được thiết kế cho mô hình phân tách này: pixel của tập dữ liệu và tài nguyên điện toán huấn luyện vẫn nằm trên máy tính được kết nối, còn một số metadata được chọn, chỉ số và checkpoint hoàn tất sẽ kết nối với Platform.

Mô tả ranh giới bằng ngôn ngữ vận hành. Nêu rõ những gì được giữ tại chỗ, những gì được tải lên và những workflow cloud nào xử lý hình ảnh được gửi riêng.

Lộ trình quyết định cho các tải công việc phổ biến#

Kiểm tra trong nhà máy. Ưu tiên suy luận biên hoặc suy luận cục bộ khi kết quả cần dừng hoặc chuyển hướng sản phẩm ở tốc độ dây chuyền. Huấn luyện được quản lý vẫn có thể phù hợp.

Phân tích bán lẻ hoặc cơ sở. Dùng tiền xử lý ở biên khi video liên tục gây khó khăn về băng thông hoặc quyền riêng tư. Khi phù hợp, gửi sự kiện hoặc các frame được chọn lên cloud.

Phân tích ảnh theo lô. Cloud được quản lý thường phù hợp khi độ trễ không cần tương tác tức thời và các tác vụ đến theo từng đợt.

Địa điểm cách ly mạng hoặc kết nối chập chờn. Tự lưu trữ toàn bộ runtime cần thiết cho suy luận và vận hành. Không để mặt phẳng điều khiển cloud trở thành một phần của luồng xử lý trọng yếu.

API thị giác máy tính hướng đến nhà phát triển. Endpoint được quản lý có thể rút ngắn thời gian ra mắt, nhất là khi lưu lượng chưa ổn định. Hãy thiết kế giới hạn yêu cầu, khả năng quan sát và phương án rời bỏ trước khi lưu lượng tăng.

Lập kế hoạch rời bỏ trước khi triển khai#

Tải xuống một tệp model không chứng minh được tính di động. Hãy kiểm thử toàn bộ quy trình:

1. Xuất model sang runtime được phần cứng đích hỗ trợ.
2. Tái tạo quy trình tiền xử lý và hậu xử lý bên ngoài dịch vụ ban đầu.
3. Xác thực tính tương đồng của đầu ra trên một tập kiểm thử cố định.
4. Tái tạo quy trình giám sát, kiểm soát truy cập và triển khai phiên bản mới.
5. Đo độ trễ và mức sử dụng tài nguyên trong môi trường đích.
6. Lập tài liệu về cách dữ liệu, nhãn, phiên bản model và hồ sơ kiểm toán được di chuyển.

Bài tập này cũng cải thiện việc triển khai hiện tại. Nó làm lộ các phụ thuộc tiềm ẩn trước khi sự cố ngừng hoạt động, thay đổi giá hoặc yêu cầu dữ liệu mới buộc phải di chuyển gấp.