So sánh triển khai thị giác máy tính trên đám mây quản lý và tự lưu trữ

Triển khai đám mây quản lý thường là cách nhanh hơn để đưa dịch vụ thị giác máy tính vào hoạt động. Tự lưu trữ thường là lựa chọn tốt hơn khi độ trễ, ranh giới dữ liệu hoặc quyền kiểm soát cơ sở hạ tầng là những yêu cầu khắt khe. Phần khó khăn là các nhóm thường so sánh hai hình thức này trước khi xác định rõ phần nào của hệ thống họ muốn kiểm soát.

Một ứng dụng thị giác máy tính có ít nhất bốn vị trí cần quyết định: nơi lưu trữ hình ảnh, nơi huấn luyện model, nơi chạy suy luận (inference) và nơi chạy ứng dụng xung quanh. Các quyết định đó không bắt buộc phải giống nhau. Một nhóm có thể giữ hình ảnh nguồn và quá trình huấn luyện trên cơ sở hạ tầng của riêng họ, chạy suy luận trên các thiết bị edge và vẫn sử dụng nền tảng được quản lý để theo dõi thử nghiệm cũng như quản lý model.

Các model Ultralytics YOLO hỗ trợ quy trình làm việc di động đó. Ultralytics Platform có thể quản lý vòng đời dữ liệu và huấn luyện, trong khi các model được export có thể chạy trên cơ sở hạ tầng phù hợp với ứng dụng. Do đó, lựa chọn chính xác không phải lúc nào cũng là đám mây hay tự lưu trữ hoàn toàn. Thường thì đó là giải pháp kết hợp (hybrid) với ranh giới rõ ràng cho từng thành phần.

Tổng quan về đám mây quản lý và tự lưu trữ#

Chọn đám mây quản lý khi tốc độ, nhu cầu biến động và đội ngũ cơ sở hạ tầng tinh gọn là những yếu tố quan trọng nhất. Chọn tự lưu trữ khi workload phải nằm trong một môi trường được kiểm soát hoặc suy luận phải tiếp tục chạy mà không cần kết nối mạng. Chọn hybrid khi dữ liệu, quá trình huấn luyện và suy luận có các yêu cầu khác nhau.

Ý nghĩa của đám mây quản lý đối với thị giác máy tính#

Trong một hệ thống triển khai được quản lý, nhà cung cấp vận hành một phần hoặc toàn bộ cơ sở hạ tầng đằng sau việc phục vụ model. Nhóm phát triển cung cấp model hoặc chọn một model được quản lý, cấu hình một endpoint và trả phí cho các tài nguyên hoặc yêu cầu mà hệ thống tiêu thụ.

Nhà cung cấp có thể xử lý việc cung cấp endpoint, kiểm tra tính trạng (health check), tự động mở rộng quy mô (autoscaling), cập nhật tầng phục vụ và tích hợp với hệ thống giám sát của họ. Điều này loại bỏ một lượng lớn công việc về nền tảng, nhưng không loại bỏ trách nhiệm về ứng dụng. Nhóm phát triển vẫn chịu trách nhiệm về chất lượng model, xác thực đầu vào, logic nghiệp vụ, chính sách truy cập và quyết định hình ảnh nào được phép gửi đến dịch vụ.

Đám mây quản lý phát huy tối đa sức mạnh khi lưu lượng truy cập thay đổi đáng kể theo thời gian, tổ chức đã sử dụng đám mây đó và thời gian khứ hồi mạng nằm trong ngân sách độ trễ cho phép. Hình thức này cũng hữu ích trong giai đoạn thử nghiệm (pilot), khi việc mua và vận hành một hạ tầng GPU chuyên dụng sẽ làm tăng chi phí ban đầu trước khi hiểu rõ về workload.

Đánh đổi là sự phụ thuộc vào mô hình endpoint, các khu vực, hạn mức (quota) và cấu trúc giá của nhà cung cấp. Một dịch vụ có chi phí rẻ ở quy mô thử nghiệm có thể trở thành khoản chi phí sản xuất lớn nhất nếu mọi camera đều gửi mọi khung hình lên đám mây.

Ý nghĩa của việc tự lưu trữ đối với thị giác máy tính#

Triển khai tự lưu trữ có nghĩa là tổ chức tự vận hành cơ sở hạ tầng phục vụ. Đó có thể là một máy chủ trong trung tâm dữ liệu, cụm Kubernetes, máy tính công nghiệp đặt cạnh dây chuyền sản xuất hoặc thiết bị nhúng gắn với camera.

Tổ chức kiểm soát luồng dữ liệu và thời điểm phần mềm thay đổi. Họ cũng chịu trách nhiệm lập kế hoạch dung lượng, trình điều khiển GPU, khả năng tương thích của runtime, triển khai model, khả năng quan sát (observability), cập nhật bảo mật, sao lưu và khôi phục. Cụm từ "chạy trên phần cứng của chúng tôi" chưa phải là một mô hình vận hành cho đến khi mỗi công việc đó có người phụ trách.

Tự lưu trữ phát huy tối đa sức mạnh khi suy luận phải tiếp tục ngoại tuyến, hình ảnh không được phép rời khỏi vị trí đặt thiết bị hoặc khi workload có khối lượng lớn và ổn định giúp việc sử dụng tài nguyên tính toán chuyên dụng trở nên tiết kiệm. Đây cũng là lựa chọn tự nhiên cho các ứng dụng yêu cầu trả về kết quả trong ngân sách độ trễ mà một vòng đời khứ hồi qua đám mây không thể đáp ứng.

Sự đánh đổi ở đây là độ phức tạp trong vận hành. Một container hoạt động trên một GPU không giống như một dịch vụ sản xuất đáng tin cậy trên nhiều địa điểm.

So sánh chi phí thực tế#

Không so sánh giá yêu cầu của một endpoint đám mây với giá mua của một máy chủ. Hãy so sánh toàn bộ hệ thống trong cùng một khoảng thời gian và workload.

Đối với đám mây quản lý, hãy tính đến:

• tính toán suy luận và bất kỳ dung lượng tối thiểu nào được cung cấp sẵn;
• lưu trữ và truyền dữ liệu;
• giám sát, ghi nhật ký (logging) và các dữ liệu lưu trữ giữ lại;
• endpoint phát triển và staging;
• tài nguyên nhàn rỗi vẫn hoạt động giữa các đợt bùng nổ lưu lượng; và
• thời gian kỹ thuật dành cho việc tích hợp dịch vụ và kiểm soát chi phí.

Đối với tự lưu trữ, hãy tính đến:

• máy chủ, thiết bị edge, bộ tăng tốc (accelerator) và dung lượng dự phòng;
• lắp đặt, nguồn điện, hệ thống làm mát và quyền truy cập cơ sở;
• cơ sở hạ tầng điều phối, giám sát và cập nhật;
• thời gian nhân sự cho trình điều khiển, runtime, bảo mật và xử lý sự cố;
• phần cứng thay thế và hỗ trợ kỹ thuật; và
• dung lượng dự trữ cho thời điểm cao điểm hoặc sự cố.

Đặc điểm của workload sẽ thay đổi câu trả lời. Đám mây hấp dẫn đối với nhu cầu không chắc chắn hoặc có tính bùng nổ vì có thể bổ sung dung lượng mà không cần mua phần cứng mới. Cơ sở hạ tầng chuyên dụng trở nên hấp dẫn hơn khi tỷ lệ sử dụng cao và có thể dự đoán được, với điều kiện tổ chức đã có sẵn nhân sự để vận hành nó.

So sánh độ trễ và băng thông#

Workload thị giác máy tính rất nhạy cảm với việc di chuyển dữ liệu. Hình ảnh và video có kích thước lớn hơn nhiều so với các payload API thông thường, và một camera có thể tạo ra nhiều khung hình hơn mức ứng dụng cần phân tích.

Bắt đầu với ngân sách độ trễ tổng thể (end-to-end) của ứng dụng. Bao gồm khâu thu thập, mã hóa, truyền mạng, xếp hàng (queueing), suy luận và thời gian chuyển kết quả quyết định trở lại thiết bị hoặc người dùng. Nếu kết quả điều khiển robot, dây chuyền sản xuất hoặc cảnh báo an toàn, việc suy luận cục bộ có thể là bắt buộc ngay cả khi việc quản lý model vẫn ở trên đám mây.

Băng thông là một giới hạn riêng biệt. Việc gửi video liên tục đến một endpoint từ xa có thể chi phối chi phí và thất bại khi kết nối không ổn định. Một hệ thống edge có thể chạy suy luận cục bộ và chỉ gửi các sự kiện, metadata hoặc các khung hình đã chọn lên thượng nguồn.

So sánh quyền riêng tư và ranh giới dữ liệu#

"Tại chỗ" (on-premises) và "riêng tư" không phải là từ đồng nghĩa. Một hệ thống tự lưu trữ vẫn có thể kém bảo mật, và một dịch vụ được quản lý có thể cung cấp các biện pháp kiểm soát mạnh mẽ. Quyết định bắt đầu bằng một sơ đồ dữ liệu:

• nơi hình ảnh nguồn được thu thập và lưu trữ;
• liệu hình ảnh dẫn xuất hoặc hình ảnh đã cắt (crop) có rời khỏi vị trí đặt thiết bị hay không;
• nơi lưu trữ nhãn (label) và chú thích (annotation);
• artifact model nào mã hóa thông tin đã học từ dữ liệu;
• nhân sự và hệ thống nào có thể truy cập vào từng tầng; và
• thời gian lưu giữ log, yêu cầu và đầu ra trong bao lâu.

Tính năng tích hợp On Premise của Ultralytics Platform minh họa lý do tại sao ranh giới này phải cụ thể. Các điểm ảnh của tập dữ liệu nguồn và dữ liệu dẫn xuất vẫn nằm trên máy tính được kết nối để tiếp nhận, xem trước và huấn luyện. Các lớp, nhãn và chú thích được lưu trữ dưới dạng metadata của Platform, các chỉ số huấn luyện được truyền trực tuyến về Platform và checkpoint tốt nhất được tải lên cho các quy trình tiếp theo. Thiết kế đó giữ cho các điểm ảnh tập dữ liệu ở cục bộ mà không ngụ ý rằng mọi artifact đều nằm ở cục bộ.

Xem lại tài liệu Ultralytics Platform On Premise documentation hiện tại đối chiếu với các yêu cầu của tổ chức trước khi coi đây là một biện pháp kiểm soát tuân thủ.

So sánh khả năng mở rộng và độ tin cậy#

Các nền tảng được quản lý có thể giảm bớt công việc cần thiết để bổ sung dung lượng endpoint, nhưng tính năng tự động mở rộng không diễn ra tức thời và mọi dịch vụ đều có giới hạn. Hãy đo lường thời gian khởi động lạnh (cold start), hành vi hàng đợi và dung lượng khả dụng ở khu vực yêu cầu.

Khả năng mở rộng tự lưu trữ đòi hỏi kỹ thuật cẩn trọng. Nhóm phát triển quyết định cách đóng gói model, cách cân bằng tải các yêu cầu, cách lập lịch cho GPU và điều gì xảy ra khi một node gặp sự cố. Kubernetes có thể giúp điều phối cơ sở hạ tầng đó, nhưng nó không quyết định số lượng bản sao (replica), chính sách triển khai hay mục tiêu độ trễ chính xác.

Đối với các đội ngũ thiết bị edge, độ tin cậy bao gồm nhiều yếu tố hơn là thời gian hoạt động của endpoint. Các thiết bị có thể mất kết nối, hoạt động trên các phiên bản phần cứng khác nhau và bỏ lỡ các bản cập nhật. Kế hoạch sản xuất cần có tính năng quản lý phiên bản model, triển khai theo giai đoạn, hoàn tác (rollback) và cách chẩn đoán lỗi mà không cần phải đến từng địa điểm.

Ba mô hình triển khai thực tế#

Huấn luyện được quản lý và suy luận được quản lý#

Sử dụng mô hình này khi nhóm muốn có con đường ngắn nhất từ tập dữ liệu đến endpoint và độ trễ đám mây ở mức chấp nhận được. Mô hình này thiểu hóa quyền sở hữu cơ sở hạ tầng và phù hợp với các dự án thử nghiệm, công cụ nội bộ và dịch vụ có nhu cầu biến động.

Các biện pháp kiểm soát chính là giới hạn chi phí, xử lý dữ liệu theo khu vực, quyền truy cập endpoint và đường dẫn xuất nếu dịch vụ cần di chuyển sau này.

Huấn luyện được quản lý và suy luận tự lưu trữ#

Sử dụng mô hình này khi năng lực tính toán đám mây đơn giản hóa quá trình phát triển model nhưng suy luận phải chạy ở cục bộ. Huấn luyện và đánh giá trong môi trường được quản lý, export model đã được kiểm thử và triển khai nó tới edge hoặc trung tâm dữ liệu.

Mô hình này phổ biến trong ngành sản xuất và robot vì việc lặp lại model hưởng lợi từ tài nguyên tính toán được quản lý trong khi các quyết định trong sản xuất không thể phụ thuộc vào vòng đời khứ hồi qua mạng.

Dữ liệu và huấn luyện cục bộ với các công cụ quản lý vòng đời#

Sử dụng mô hình này khi dữ liệu nguồn phải ở lại trên cơ sở hạ tầng được kiểm soát nhưng nhóm vẫn muốn có một giao diện chung để chú thích, xem các chỉ số và quản lý model. Ultralytics Platform On Premise được thiết kế cho sự phân chia này: các điểm ảnh tập dữ liệu và tài nguyên tính toán huấn luyện vẫn nằm trên máy tính được kết nối trong khi các metadata, chỉ số đã chọn và checkpoint hoàn chỉnh kết nối với Platform.

Tài liệu hóa ranh giới bằng thuật ngữ vận hành. Nêu rõ những gì ở lại cục bộ, những gì được tải lên và quy trình đám mây nào xử lý hình ảnh được gửi riêng biệt.

Đường dẫn quyết định cho các workload phổ biến#

Kiểm tra nhà máy (Factory inspection). Ưu tiên suy luận cục bộ hoặc edge inference khi kết quả phải dừng hoặc chuyển hướng một linh kiện ở tốc độ dây chuyền. Quá trình huấn luyện được quản lý vẫn có thể hợp lý.

Phân tích bán lẻ hoặc cơ sở hạ tầng (Retail or facility analytics). Sử dụng tính năng tiền xử lý ở edge khi video liên tục làm cho băng thông hoặc quyền riêng tư trở nên khó khăn. Gửi các sự kiện hoặc khung hình đã chọn lên đám mây khi thích hợp.

Phân tích hình ảnh theo lô (Batch image analysis). Đám mây quản lý thường là lựa chọn phù hợp khi độ trễ không mang tính tương tác và các tác vụ đến theo từng đợt.

Các địa điểm bị cô lập (air-gapped) hoặc kết nối chập chờn. Tự lưu trữ toàn bộ runtime cần thiết cho suy luận và vận hành. Không biến mặt phẳng điều khiển đám mây thành một phần của đường dẫn quan trọng (critical path).

API thị giác hướng tới nhà phát triển. Các endpoint được quản lý có thể giảm thời gian ra mắt, đặc biệt khi lưu lượng truy cập chưa ổn định. Thiết kế giới hạn yêu cầu, khả năng quan sát và đường dẫn thoát trước khi lưu lượng tăng lên.

Lên kế hoạch cho đường dẫn thoát trước khi triển khai#

Khả năng di chuyển không được chứng minh chỉ bằng việc tải xuống một tệp model. Hãy kiểm tra toàn bộ quy trình:

1. Export model sang một runtime được hỗ trợ bởi phần cứng đích.
2. Tái tạo các bước tiền xử lý và hậu xử lý bên ngoài dịch vụ ban đầu.
3. Xác thực tính tương đồng của đầu ra trên một tập kiểm thử cố định.
4. Tái tạo quy trình giám sát, kiểm soát truy cập và triển khai.
5. Đo lường độ trễ và mức sử dụng tài nguyên trong môi trường đích.
6. Tài liệu hóa cách dữ liệu, nhãn, phiên bản model và bản ghi kiểm tra di chuyển như thế nào.

Bài tập này cũng giúp cải thiện quá trình triển khai hiện tại. Nó phơi bày các phụ thuộc ẩn trước khi một sự cố, thay đổi giá cả hoặc yêu cầu dữ liệu mới buộc phải di chuyển gấp.