Docker

Docker là nền tảng mã nguồn mở để xây dựng, chia sẻ và chạy ứng dụng trong container: các tiến trình được cô lập, mang theo hệ thống tệp riêng gồm mã, thư viện và gói hệ thống nhưng dùng chung kernel hệ điều hành của host. dotCloud, công ty sau này đổi tên thành Docker, Inc., đã công bố mã nguồn mở của nền tảng này vào tháng 3 năm 2013; công cụ dòng lệnh, định dạng image phân lớp và registry công khai đã biến container Linux thành công cụ phát triển phổ biến. Trong machine learning, Docker image cố định chính xác phiên bản Python, thư viện CUDA, bản dựng PyTorch và trọng số model, giúp model hoạt động nhất quán trên laptop, máy chủ GPU, runner tích hợp liên tục và thiết bị biên.

Docker hoạt động như thế nào#

Dockerfile liệt kê các bước tạo image: image nền để bắt đầu, lệnh cài đặt gói, tệp cần sao chép vào và lệnh chạy khi khởi động. Mỗi chỉ thị RUN, COPY hoặc ADD bổ sung một layer chỉ đọc; lần dựng tiếp theo sẽ dùng lại các layer đã lưu trong bộ nhớ đệm cho đến khi chỉ thị hoặc một trong các tệp đầu vào thay đổi. Vì vậy, các dependency được cài đặt sớm vẫn được lưu trong bộ nhớ đệm, còn mã ứng dụng được dựng lại chỉ trong vài giây. Image là tập hợp các layer đó cùng metadata. Container là một phiên bản image đang chạy, có thêm một layer ghi mỏng ở trên cùng; layer này sẽ bị xóa khi xóa container, trừ khi dữ liệu được ghi vào volume đã mount.

Lệnh docker giao tiếp với Docker Engine, một daemon chạy nền giao mỗi container cho containerd và runtime cấp thấp runc. Các thành phần này dùng Linux namespace để cô lập tiến trình, mạng và hệ thống tệp của container, đồng thời dùng cgroups để giới hạn CPU và bộ nhớ. Image được chia sẻ qua các registry như Docker Hub, GitHub Container Registry, NVIDIA NGC và registry riêng của từng nhà cung cấp cloud. Các image tuân theo định dạng image của Open Container Initiative, vì vậy Podman, containerd và Kubernetes có thể chạy chúng mà không cần thay đổi.

Ultralytics phát hành Docker image chính thức cho từng mục tiêu phần cứng, bao gồm GPU CUDA, CPU, bo mạch ARM64, thiết bị NVIDIA Jetson và GPU AMD; mỗi image cũng được gắn thẻ số phiên bản Ultralytics để hỗ trợ các bản dựng có thể tái tạo. Image gọn nhẹ latest-python dùng bên dưới đã có sẵn Python, PyTorch, gói ultralytics và trọng số nano của YOLO26, vì vậy Dockerfile của dự án chỉ cần thêm mã riêng:

# Official Ultralytics CPU image with Python, PyTorch, ultralytics, and yolo26n.pt
FROM ultralytics/ultralytics:latest-python

# Install extra dependencies in their own layer, cached until requirements.txt changes
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# Copy the application last, so code edits rebuild only this layer
COPY app.py .

# Command every container runs when it starts
CMD ["python", "app.py"]

docker build -t yolo-app . biến tệp này cùng các tệp bên cạnh thành image, còn docker run --rm yolo-app khởi chạy container từ image đó. Đẩy image lên registry cho phép mọi máy khác tải về và chạy cùng một môi trường, chẳng hạn dưới dạng API phục vụ model hoặc một tác vụ suy luận chạy hằng đêm.

Docker trong machine learning#

Container truy cập GPU thông qua NVIDIA Container Toolkit. Driver NVIDIA vẫn nằm trên host, còn image chỉ chứa thư viện CUDA ở user space và các thư viện này phải tương thích với driver đó. Trên Linux, Docker 28.2 trở lên bật CDI theo mặc định, vì vậy --device nvidia.com/gpu=all yêu cầu GPU dưới dạng thiết bị CDI và duy trì quyền truy cập GPU trong các container chạy lâu dài; cờ --gpus all cũ hơn có thể mất quyền truy cập khi host tải lại systemd.

Hai thiết lập khác cũng quan trọng khi huấn luyện. Worker của data loader PyTorch truyền batch đến tiến trình huấn luyện qua bộ nhớ chia sẻ trong /dev/shm, nơi Docker giới hạn mặc định ở 64 MB; do đó, container huấn luyện cần chạy với --ipc=host hoặc giá trị --shm-size lớn hơn. Dataset và đầu ra nên được lưu trong volume đã mount, vì lần chạy huấn luyện ghi checkpoint bên trong container sẽ mất dữ liệu khi container bị xóa. Ghim thẻ phiên bản hoặc digest của image thay vì latest giúp tác vụ huấn luyện phân tán hoặc triển khai model dùng cùng một image trên mọi máy; cả máy chủ suy luận như NVIDIA Triton Inference Server lẫn dịch vụ được quản lý như Vertex AI đều chạy model dưới dạng Docker image.

Docker, máy ảo và Kubernetes#

• Máy ảo: Hypervisor mô phỏng phần cứng và mỗi VM khởi động kernel guest riêng. Cách này cô lập workload mạnh hơn và cho phép dùng bất kỳ hệ điều hành guest nào, nhưng phải trả giá bằng một image hệ điều hành đầy đủ cho mỗi VM và thời gian khởi động lâu hơn. Vì container dùng chung kernel Linux của host, Docker Desktop trên macOS và Windows chạy container bên trong một VM Linux gọn nhẹ.
• Docker Compose: Định nghĩa nhiều container cùng chạy trên một host, chẳng hạn API suy luận, cache và bộ thu thập metrics.
• Kubernetes: Lập lịch container trên một cluster, khởi động lại container bị lỗi và tự động điều chỉnh số replica theo lưu lượng. Kubernetes 1.24 loại bỏ dockershim, adapter tích hợp sẵn cho Docker Engine; vì vậy cluster chạy container thông qua containerd hoặc CRI-O. Image được dựng bằng Docker vẫn chạy được vì đây là image OCI tiêu chuẩn.