Containerization

Containerization là một chiến lược triển khai phần mềm giúp đóng gói mã nguồn của ứng dụng cùng với các thư viện, phần phụ thuộc và tệp cấu hình vào một đơn vị thực thi nhẹ, đơn lẻ được gọi là container. Cách tiếp cận này trừu tượng hóa phần mềm khỏi cơ sở hạ tầng bên dưới, đảm bảo các ứng dụng chạy nhất quán trong nhiều môi trường điện toán khác nhau, từ máy tính xách tay cá nhân của nhà phát triển đến các cụm cloud computing khổng lồ. Trong bối cảnh của machine learning (ML), containerization giải quyết vấn đề tai tiếng "nó chạy được trên máy tôi" bằng cách đóng gói môi trường phức tạp cần thiết để huấn luyện và chạy neural networks.

Link to this sectionTại sao Containerization quan trọng đối với AI#

Đối với các nhà khoa học dữ liệu và kỹ sư ML, việc quản lý môi trường là một thách thức đáng kể. Các dự án khác nhau có thể yêu cầu các phiên bản xung đột nhau của Python, trình điều khiển CUDA hoặc các thư viện như PyTorch. Containerization loại bỏ những xung đột này bằng cách tạo ra các môi trường biệt lập và bất biến.

• Tính di động: Một ứng dụng computer vision được đóng gói container có thể được di chuyển liền mạch giữa môi trường phát triển, kiểm thử và sản xuất. Điều này đảm bảo rằng một model được huấn luyện trên máy trạm thực hiện chính xác theo cùng một cách khi được triển khai lên máy chủ.
• Hiệu quả: Không giống như các phương pháp truyền thống, các container chia sẻ nhân hệ điều hành (OS) của hệ thống máy chủ, khiến chúng trở nên cực kỳ nhẹ. Mật độ cao này cho phép sử dụng tài nguyên tốt hơn, điều này rất quan trọng để giảm inference latency trong các ứng dụng thời gian thực.
• Khả năng mở rộng: Các công cụ điều phối hiện đại có thể nhanh chóng khởi chạy hoặc tắt các phiên bản container dựa trên nhu cầu lưu lượng, đảm bảo scalability cho các dịch vụ có nhu cầu cao.

Link to this sectionContainerization so với máy ảo (Virtual Machines)#

Điều quan trọng là phải phân biệt được container với virtual machines (VMs). Một VM mô phỏng toàn bộ ngăn xếp phần cứng, bao gồm cả hệ điều hành khách đầy đủ, dẫn đến chi phí tài nguyên đáng kể và thời gian khởi động chậm hơn. Ngược lại, containerization ảo hóa hệ điều hành, cho phép nhiều ứng dụng chạy như các quy trình biệt lập trên một nhân chung duy nhất. Dấu chân tài nguyên giảm bớt này làm cho container trở thành lựa chọn ưu tiên cho các kịch bản Edge AI nơi tài nguyên phần cứng bị hạn chế, chẳng hạn như trên các thiết bị IoT hoặc máy bay không người lái. Để có so sánh kỹ thuật sâu hơn, hãy xem lại hướng dẫn của Red Hat về container so với VM.

Link to this sectionCác công nghệ cốt lõi#

Một số công nghệ chủ chốt tạo nên nền tảng của hệ sinh thái container hiện đại:

• Docker: Nền tảng được sử dụng rộng rãi nhất để xây dựng, chạy và quản lý container. Ultralytics cung cấp một Hướng dẫn nhanh về Docker để giúp người dùng triển khai các model phát hiện đối tượng một cách dễ dàng mà không cần thiết lập môi trường thủ công.
• Kubernetes: Một hệ thống mã nguồn mở để tự động hóa việc triển khai, mở rộng và quản lý các ứng dụng được đóng gói container. Nó rất cần thiết để quản lý các cụm container lớn trong các đường ống MLOps doanh nghiệp.
• Registry Container: Các dịch vụ như NVIDIA NGC Catalog lưu trữ và phân phối các hình ảnh container thường được tối ưu hóa sẵn cho các tác vụ cụ thể, chẳng hạn như model training tăng tốc bằng GPU.
• Open Container Initiative (OCI): Một tiêu chuẩn công nghiệp đảm bảo các định dạng và runtime của container tương thích trên các nền tảng khác nhau, được thúc đẩy bởi Open Container Initiative.

Link to this sectionCác ứng dụng trong thực tế#

Containerization rất phổ biến trong các quy trình làm việc AI hiện đại, cho phép lặp lại nhanh chóng và triển khai đáng tin cậy.

1. Giám sát thành phố thông minh: Các đô thị triển khai hệ thống quản lý giao thông sử dụng camera kết nối mạng. Bằng cách sử dụng container, các kỹ sư có thể đẩy các bản cập nhật phần mềm cho hàng ngàn thiết bị biên cùng một lúc. Nếu một model object detection mới cải thiện độ chính xác, container sẽ được cập nhật qua mạng (over the air), đảm bảo hiệu suất nhất quán trên toàn bộ cơ sở hạ tầng của thành phố.

2. Nghiên cứu có thể tái lập: Trong nghiên cứu học thuật và công nghiệp, việc tái tạo kết quả là vô cùng quan trọng. Bằng cách xuất bản một hình ảnh Docker chứa các tập lệnh xử lý training data chính xác và kiến trúc model, các nhà nghiên cứu đảm bảo rằng những người bình duyệt có thể thực hiện lại thí nghiệm một cách chính xác. Điều này rất quan trọng để xác nhận các tiến bộ trong deep learning (DL).

Link to this sectionVí dụ: Suy luận trong một Container#

Khi tạo một container cho một ứng dụng AI, bạn thường bao gồm một tập lệnh để xử lý model serving. Đoạn mã Python sau đây minh họa một quy trình suy luận đơn giản sử dụng gói ultralytics. Tập lệnh này sẽ chạy bên trong container, sử dụng các phần phụ thuộc đã được cài đặt sẵn của môi trường.

from ultralytics import YOLO

# Load the YOLO26 model (weights are usually baked into the container image)
# YOLO26 is the latest state-of-the-art model for real-time tasks
model = YOLO("yolo26n.pt")

# Perform inference on an image URL
# In production, this might handle API requests or video streams
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Print the number of detected objects to the logs
print(f"Inference complete. Detected {len(results[0].boxes)} objects.")

Bằng cách đóng gói logic này trong một container, các nhà phát triển đảm bảo rằng phiên bản Python và phiên bản thư viện luôn không đổi, ngăn ngừa các lỗi không mong muốn trong môi trường sản xuất. Để đơn giản hóa việc quản lý, huấn luyện và triển khai model, nhiều nhóm sử dụng Ultralytics Platform, vốn hỗ trợ nguyên bản các quy trình làm việc dựa trên container. Để biết thêm về các chiến lược triển khai, hãy khám phá hướng dẫn của AWS về các trường hợp sử dụng container.