Scalability

Khả năng mở rộng (Scalability) đề cập đến khả năng của một hệ thống, mạng hoặc quy trình trong việc xử lý khối lượng công việc ngày càng tăng bằng cách bổ sung tài nguyên. Trong bối cảnh Artificial Intelligence (AI) và Machine Learning (ML), khả năng mở rộng mô tả khả năng của mô hình hoặc cơ sở hạ tầng trong việc duy trì các mức hiệu suất khi nhu cầu tăng lên. Nhu cầu này thường biểu hiện dưới dạng tập dữ liệu lớn hơn trong quá trình huấn luyện, lưu lượng người dùng cao hơn trong quá trình suy luận (inference), hoặc độ phức tạp tăng lên trong các tác vụ tính toán. Kiến trúc có khả năng mở rộng cho phép mở rộng liền mạch—dù là triển khai mô hình computer vision trên một thiết bị nhúng đơn lẻ hay phục vụ hàng triệu yêu cầu API thông qua các cụm đám mây—đảm bảo rằng inference latency vẫn ở mức thấp ngay cả dưới tải nặng.

Tầm quan trọng của khả năng mở rộng trong AI#

Thiết kế hướng đến khả năng mở rộng là một thành phần quan trọng của Machine Learning Operations (MLOps) thành công. Một mô hình hoạt động hoàn hảo trong môi trường nghiên cứu được kiểm soát có thể thất bại khi tiếp xúc với các luồng dữ liệu tốc độ cao được tìm thấy trong môi trường sản xuất (production). Quản lý hiệu quả Big Data đòi hỏi các hệ thống có khả năng mở rộng theo chiều ngang (thêm nhiều máy vào cụm) hoặc theo chiều dọc (thêm nhiều sức mạnh tính toán, chẳng hạn như RAM hoặc GPU, vào các máy hiện có).

Những ưu điểm chính của các hệ thống AI có khả năng mở rộng bao gồm:

• Độ tin cậy: Các hệ thống có khả năng mở rộng đảm bảo thời gian hoạt động dịch vụ ổn định trong các đợt tăng lưu lượng đột biến bất ngờ, giúp ngăn chặn lỗi trong các ứng dụng quan trọng.
• Hiệu quả chi phí: Mở rộng động cho phép tài nguyên co lại trong các giai đoạn sử dụng thấp, một tính năng thường được quản lý bởi các nền tảng cloud computing như AWS hoặc Google Cloud.
• Đón đầu tương lai: Cơ sở hạ tầng có khả năng mở rộng đáp ứng các thuật toán mới hơn, phức tạp hơn, chẳng hạn như vision transformers (ViT), mà không đòi hỏi phải đại tu toàn bộ hệ sinh thái phần cứng.

Các chiến lược để đạt được khả năng mở rộng#

Việc tạo ra các giải pháp AI có khả năng mở rộng liên quan đến việc tối ưu hóa cả kiến trúc mô hình và cơ sở hạ tầng triển khai.

• Huấn luyện phân tán: Khi các tập dữ liệu huấn luyện trở nên quá lớn đối với một bộ xử lý duy nhất, distributed training sẽ chia nhỏ khối lượng công việc trên nhiều Graphics Processing Units (GPUs). Các framework như PyTorch Distributed cho phép các nhà phát triển thực hiện các phép tính song song, giúp giảm đáng kể thời gian cần thiết để huấn luyện các mô hình nền tảng (foundation model). Các công cụ như Ultralytics Platform đơn giản hóa quá trình này bằng cách tự động quản lý tài nguyên huấn luyện trên đám mây.
• Kiến trúc mô hình hiệu quả: Lựa chọn kiến trúc mô hình phù hợp là điều tối quan trọng đối với thông lượng (throughput). Ultralytics YOLO26 mới nhất được thiết kế nhỏ hơn và nhanh hơn các thế hệ tiền nhiệm, giúp nó có khả năng mở rộng tự nhiên trên nhiều phần cứng đa dạng, từ các thiết bị edge AI cho đến các trang trại máy chủ quy mô lớn.
• Đóng gói vùng chứa và điều phối: Đóng gói các ứng dụng bằng Docker đảm bảo chúng chạy đồng nhất trên các môi trường khác nhau. Để quản lý các cụm container lớn, Kubernetes tự động hóa việc triển khai, mở rộng và quản lý các ứng dụng được đóng gói.
• Tối ưu hóa mô hình: Các kỹ thuật như model quantization và pruning giúp giảm dung lượng bộ nhớ và chi phí tính toán của mô hình. Các công cụ như NVIDIA TensorRT có thể tăng tốc độ suy luận hơn nữa, cho phép đạt thông lượng cao hơn trên phần cứng hiện có.

Ví dụ mã: Suy luận theo lô (batch inference) có khả năng mở rộng#

Một phương pháp hiệu quả để cải thiện khả năng mở rộng trong quá trình suy luận là xử lý đầu vào theo lô thay vì tuần tự. Điều này giúp tối đa hóa việc sử dụng GPU và tăng thông lượng tổng thể.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Các ứng dụng trong thực tế#

Khả năng mở rộng cho phép các công nghệ AI chuyển đổi từ nghiên cứu lý thuyết sang các công cụ công nghiệp toàn cầu.

• Sản xuất thông minh: Trong lĩnh vực AI in manufacturing, các hệ thống kiểm tra tự động phải phân tích hàng nghìn linh kiện mỗi giờ trên các dây chuyền lắp ráp tốc độ cao. Hệ thống object detection có khả năng mở rộng đảm bảo rằng khi tốc độ sản xuất tăng lên, quy trình kiểm soát chất lượng vẫn duy trì được accuracy cao mà không trở thành điểm nghẽn.
• Công cụ gợi ý trong bán lẻ: Các nền tảng thương mại điện tử lớn tận dụng recommendation systems để cung cấp hàng triệu gợi ý sản phẩm cá nhân hóa ngay lập tức. Cơ sở hạ tầng có khả năng mở rộng cho phép các nền tảng này xử lý các sự kiện lớn như Black Friday, nơi lưu lượng truy cập có thể tăng vọt gấp 100 lần, bằng cách tự động cung cấp thêm các node máy chủ thông qua Microsoft Azure hoặc các nhà cung cấp tương tự.

Khả năng mở rộng so với các khái niệm liên quan#

Mặc dù thường được sử dụng thay thế cho nhau, khả năng mở rộng khác biệt với hiệu năng và hiệu suất.

• Khả năng mở rộng so với Hiệu suất: Performance thường đề cập đến tốc độ hoặc độ chính xác của hệ thống tại một thời điểm cụ thể (ví dụ: khung hình trên giây). Khả năng mở rộng mô tả khả năng của hệ thống trong việc duy trì hiệu suất đó khi khối lượng công việc tăng lên.
• Khả năng mở rộng so với hiệu suất: Hiệu suất đo lường các tài nguyên được sử dụng để hoàn thành một tác vụ cụ thể (ví dụ: tiêu thụ năng lượng trên mỗi lượt suy luận). Một hệ thống có thể hiệu suất cao nhưng không có khả năng mở rộng (nếu nó không thể xử lý các tác vụ song song), hoặc có khả năng mở rộng nhưng không hiệu suất (nếu nó sử dụng quá nhiều tài nguyên để xử lý sự tăng trưởng).
• Khả năng mở rộng so với Tính linh hoạt: Tính linh hoạt cho phép hệ thống xử lý các loại tác vụ khác nhau, chẳng hạn như YOLO11 xử lý phát hiện (detection), phân đoạn (segmentation) và ước lượng tư thế (pose estimation). Khả năng mở rộng tập trung cụ thể vào việc xử lý nhiều hơn cùng một tác vụ đó.