Scalability

Khả năng mở rộng (Scalability) đề cập đến năng lực của một hệ thống, mạng lưới hoặc quy trình trong việc xử lý khối lượng công việc ngày càng tăng bằng cách bổ sung thêm tài nguyên. Trong bối cảnh của Trí tuệ nhân tạo (AI) và Học máy (ML), khả năng mở rộng mô tả năng lực của một mô hình hoặc cơ sở hạ tầng nhằm duy trì các cấp độ hiệu năng khi nhu cầu gia tăng. Nhu cầu này thường biểu hiện dưới dạng các tập dữ liệu lớn hơn trong quá trình huấn luyện, lưu lượng người dùng cao hơn trong quá trình suy luận (inference), hoặc sự phức tạp gia tăng trong các tác vụ tính toán. Một kiến trúc có khả năng mở rộng cho phép triển khai liền mạch—dù là triển khai một mô hình thị giác máy tính trên một thiết bị nhúng đơn lẻ hay phục vụ hàng triệu yêu cầu API thông qua các cụm đám mây—giúp đảm bảo rằng độ trễ suy luận vẫn ở mức thấp ngay cả khi chịu tải nặng.

Link to this sectionTầm quan trọng của khả năng mở rộng trong AI#

Thiết kế hướng tới khả năng mở rộng là một thành phần quan trọng của Vận hành Học máy (MLOps) thành công. Một mô hình hoạt động hoàn hảo trong môi trường nghiên cứu được kiểm soát có thể thất bại khi tiếp xúc với các luồng dữ liệu tốc độ cao trong môi trường thực tế (production). Quản lý hiệu quả Dữ liệu lớn (Big Data) đòi hỏi các hệ thống có khả năng mở rộng theo chiều ngang (thêm nhiều máy vào một cụm) hoặc chiều dọc (thêm tài nguyên, chẳng hạn như RAM hoặc GPU, vào các máy hiện có).

Những ưu điểm chính của các hệ thống AI có khả năng mở rộng bao gồm:

• Độ tin cậy: Các hệ thống có khả năng mở rộng đảm bảo thời gian hoạt động dịch vụ ổn định trong các đợt tăng lưu lượng đột biến bất ngờ, giúp ngăn chặn lỗi trong các ứng dụng quan trọng.
• Hiệu quả chi phí: Việc mở rộng động (dynamic scaling) cho phép giảm bớt tài nguyên trong các giai đoạn sử dụng thấp, một tính năng thường được quản lý bởi các nền tảng điện toán đám mây như AWS hoặc Google Cloud.
• Khả năng thích ứng tương lai: Một cơ sở hạ tầng có khả năng mở rộng có thể đáp ứng các thuật toán mới và phức tạp hơn, chẳng hạn như vision transformers (ViT), mà không yêu cầu thay đổi toàn bộ hệ sinh thái phần cứng.

Link to this sectionCác chiến lược để đạt được khả năng mở rộng#

Việc tạo ra các giải pháp AI có khả năng mở rộng liên quan đến việc tối ưu hóa cả kiến trúc mô hình và cơ sở hạ tầng triển khai.

• Huấn luyện phân tán: Khi các tập dữ liệu huấn luyện trở nên quá lớn đối với một bộ xử lý đơn lẻ, huấn luyện phân tán sẽ chia nhỏ khối lượng công việc ra nhiều Bộ xử lý đồ họa (GPU). Các framework như PyTorch Distributed cho phép các nhà phát triển thực hiện tính toán song song, giúp giảm đáng kể thời gian cần thiết để huấn luyện các mô hình nền tảng. Các công cụ như Ultralytics Platform đơn giản hóa quy trình này bằng cách tự động quản lý tài nguyên huấn luyện trên đám mây.
• Kiến trúc mô hình hiệu quả: Việc chọn kiến trúc mô hình phù hợp là rất quan trọng đối với thông lượng (throughput). Ultralytics YOLO26 mới nhất được thiết kế để nhỏ gọn và nhanh hơn so với các thế hệ tiền nhiệm, giúp nó có khả năng mở rộng tự nhiên trên nhiều loại phần cứng khác nhau, từ các thiết bị edge AI đến các hệ thống máy chủ quy mô lớn.
• Đóng gói container và điều phối: Việc đóng gói các ứng dụng bằng Docker đảm bảo chúng chạy nhất quán trên các môi trường khác nhau. Để quản lý các cụm container lớn, Kubernetes tự động hóa việc triển khai, mở rộng và quản lý các ứng dụng dạng container.
• Tối ưu hóa mô hình: Các kỹ thuật như lượng tử hóa mô hình và cắt tỉa (pruning) giúp giảm dung lượng bộ nhớ và chi phí tính toán của mô hình. Các công cụ như NVIDIA TensorRT có thể tăng tốc độ suy luận hơn nữa, cho phép đạt thông lượng cao hơn trên phần cứng hiện có.

Link to this sectionVí dụ mã: Suy luận theo lô (batch inference) có khả năng mở rộng#

Một phương pháp hiệu quả để cải thiện khả năng mở rộng trong quá trình suy luận là xử lý đầu vào theo lô thay vì tuần tự. Điều này giúp tối đa hóa việc sử dụng GPU và tăng thông lượng tổng thể.

from ultralytics import YOLO

# Load a scalable YOLO26 model (smaller 'n' version for speed)
model = YOLO("yolo26n.pt")

# Define a batch of images (URLs or local paths)
# Processing multiple images at once leverages parallel computation
batch_images = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]

# Run inference on the batch
results = model(batch_images)

# Print the number of detections for the first image
print(f"Detected {len(results[0].boxes)} objects in the first image.")

Link to this sectionCác ứng dụng trong thực tế#

Khả năng mở rộng cho phép các công nghệ AI chuyển đổi từ nghiên cứu lý thuyết sang các công cụ công nghiệp toàn cầu.

• Sản xuất thông minh: Trong lĩnh vực AI trong sản xuất, các hệ thống kiểm tra tự động phải phân tích hàng ngàn linh kiện mỗi giờ trên các dây chuyền lắp ráp tốc độ cao. Một hệ thống phát hiện đối tượng có khả năng mở rộng đảm bảo rằng khi tốc độ sản xuất tăng lên, quy trình kiểm soát chất lượng vẫn duy trì được độ chính xác cao mà không trở thành điểm nghẽn.
• Công cụ gợi ý bán lẻ: Các nền tảng thương mại điện tử lớn sử dụng hệ thống gợi ý để cung cấp hàng triệu gợi ý sản phẩm cá nhân hóa ngay lập tức. Cơ sở hạ tầng có khả năng mở rộng cho phép các nền tảng này xử lý các sự kiện lớn như Black Friday, nơi lưu lượng có thể tăng gấp 100 lần, bằng cách cấp phát động các nút máy chủ bổ sung thông qua Microsoft Azure hoặc các nhà cung cấp tương tự.

Link to this sectionKhả năng mở rộng so với các khái niệm liên quan#

Mặc dù thường được sử dụng thay thế cho nhau, khả năng mở rộng khác biệt với hiệu năng và hiệu suất.

• Khả năng mở rộng so với hiệu năng: Hiệu năng thường đề cập đến tốc độ hoặc độ chính xác của một hệ thống tại một thời điểm cụ thể (ví dụ: khung hình trên mỗi giây). Khả năng mở rộng mô tả năng lực của hệ thống nhằm duy trì hiệu năng đó khi khối lượng công việc tăng lên.
• Khả năng mở rộng so với hiệu suất: Hiệu suất đo lường các tài nguyên được sử dụng để hoàn thành một tác vụ cụ thể (ví dụ: tiêu thụ năng lượng trên mỗi lượt suy luận). Một hệ thống có thể hiệu suất cao nhưng không có khả năng mở rộng (nếu nó không thể xử lý các tác vụ song song), hoặc có khả năng mở rộng nhưng không hiệu suất (nếu nó sử dụng quá nhiều tài nguyên để xử lý sự tăng trưởng).
• Khả năng mở rộng so với tính linh hoạt: Tính linh hoạt cho phép một hệ thống xử lý các loại tác vụ khác nhau, chẳng hạn như YOLO11 xử lý phát hiện, phân đoạn và ước tính tư thế. Khả năng mở rộng tập trung cụ thể vào việc xử lý nhiều hơn cùng một tác vụ đó.