Cloud Computing

Điện toán đám mây là hình thức cung cấp tài nguyên điện toán theo nhu cầu, bao gồm máy chủ, bộ nhớ, cơ sở dữ liệu, mạng, GPU và ứng dụng phần mềm hoàn chỉnh, qua internet từ các trung tâm dữ liệu của nhà cung cấp; chi phí được tính theo mức sử dụng. Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ đã định nghĩa thuật ngữ này vào năm 2011 trong NIST SP 800-145 thông qua năm đặc điểm cốt yếu: tự phục vụ theo nhu cầu, truy cập mạng rộng khắp, gộp tài nguyên phục vụ nhiều khách hàng, khả năng co giãn nhanh và dịch vụ đo lường được. Amazon Web Services ra mắt dịch vụ lưu trữ S3 và điện toán EC2 vào năm 2006; hiện AWS, Microsoft Azure và Google Cloud là những nhà cung cấp lớn nhất. Đối với trí tuệ nhân tạo, đám mây biến các bộ tăng tốc đắt tiền thành tài nguyên có thể thuê trong một buổi chiều, nhờ đó hầu hết các nhóm có thể huấn luyện model lớn mà không cần sở hữu trung tâm dữ liệu.

Mô hình dịch vụ và triển khai#

Các mô hình dịch vụ khác nhau ở mức độ nhà cung cấp quản lý các lớp trong stack:

• Hạ tầng dưới dạng dịch vụ (IaaS): Máy ảo, bộ nhớ khối và mạng; khách hàng quản lý hệ điều hành, driver và phần mềm. Máy ảo GPU như các instance Amazon EC2 P5 thuộc loại IaaS.
• Nền tảng dưới dạng dịch vụ (PaaS): Môi trường chạy, cơ sở dữ liệu và cụm Kubernetes được quản lý; khách hàng triển khai code còn nhà cung cấp xử lý máy chủ và bản vá. Các nền tảng ML được quản lý như Amazon SageMaker, Google Vertex AI và Azure Machine Learning bổ sung tác vụ huấn luyện và endpoint model trên nền tảng này.
• Điện toán serverless: Hàm hoặc container khởi chạy theo từng yêu cầu, mở rộng về 0 khi không hoạt động và tính phí theo yêu cầu cùng thời gian thực thi; đây là mô hình xuất hiện sau này, ẩn hoàn toàn máy chủ.
• Phần mềm dưới dạng dịch vụ (SaaS): Ứng dụng hoàn chỉnh được sử dụng trong trình duyệt hoặc thông qua API, khách hàng không cần vận hành bất kỳ thành phần nào.

NIST cũng nêu bốn mô hình triển khai: đám mây công cộng dùng chung cho nhiều khách hàng, đám mây riêng vận hành cho một tổ chức, đám mây cộng đồng được các tổ chức có yêu cầu chung sử dụng chung và đám mây lai kết hợp các mô hình này. Ở mọi mô hình, nhà cung cấp và khách hàng tuân theo mô hình trách nhiệm chung: nhà cung cấp bảo vệ trung tâm dữ liệu vật lý và lớp ảo hóa, còn khách hàng chịu trách nhiệm về danh tính, cấu hình và bảo mật dữ liệu.

Điện toán đám mây cho AI#

Huấn luyện là phần đòi hỏi nhiều năng lực điện toán nhất trong AI. Nhà cung cấp đám mây cho thuê từng GPU riêng lẻ hoặc cụm bộ tăng tốc NVIDIA H100, H200 và B200 được kết nối bằng liên kết băng thông cao để phục vụ huấn luyện phân tán; Google Cloud cũng cung cấp TPU riêng. Công suất dư có giá rẻ hơn: AWS Spot Instance có chi phí thấp hơn tới 90% so với giá theo nhu cầu, nhưng có thể bị thu hồi sau khi thông báo trước hai phút; vì vậy, các tác vụ sử dụng chúng lưu checkpoint trọng số model đủ thường xuyên để có thể tiếp tục.

Vị trí dữ liệu ảnh hưởng đến chi phí đám mây. Bộ dữ liệu được lưu trong object storage, thường được tổ chức thành hồ dữ liệu; nhà cung cấp tính phí egress cho dữ liệu rời khỏi mạng của họ, trong khi ingress thường miễn phí, vì vậy tài nguyên điện toán huấn luyện thường chạy cùng vùng với dữ liệu lớn mà chúng đọc. Ở phía inference, các model được đóng gói dưới dạng container Docker chạy trên endpoint được quản lý để phục vụ model, hoặc trên cụm Kubernetes tự thêm hoặc bớt bản sao khi lưu lượng thay đổi; đây chính là khả năng co giãn nhanh trong định nghĩa của NIST, còn các vùng gần người dùng giúp giảm độ trễ inference. Nền tảng ML trên đám mây cũng lưu trữ các công cụ MLOps liên quan để theo dõi thử nghiệm, quản lý registry model và giám sát model.

Ultralytics Platform áp dụng mô hình thuê theo mức sử dụng này cho việc huấn luyện YOLO: huấn luyện trên đám mây cung cấp 26 loại GPU, từ RTX 2000 Ada 16 GB đến B300 288 GB, tính phí theo thời gian GPU mà một lượt chạy thực sự sử dụng; nếu GPU đã chọn hết công suất, nền tảng đề xuất GPU sẵn có gần nhất, ưu tiên dung lượng VRAM, rồi đến tốc độ và giá.

Điện toán cloud và điện toán edge#

Điện toán biên xử lý dữ liệu trên hoặc gần các thiết bị tạo ra dữ liệu, chẳng hạn như camera, robot và gateway; nhờ đó, hệ thống tránh được lượt truyền dữ liệu khứ hồi qua mạng đến trung tâm dữ liệu và vẫn hoạt động khi kết nối bị gián đoạn. Điện toán đám mây tập trung năng lực co giãn cho các tác vụ cần nhất: huấn luyện, xử lý hàng loạt lớn, lưu trữ dài hạn và dịch vụ dành cho người dùng có thể chấp nhận độ trễ mạng hàng chục mili giây. Hầu hết hệ thống thị giác máy tính kết hợp cả hai. Model được huấn luyện trên GPU đám mây sẽ được xuất sang định dạng gọn như ONNX hoặc TensorRT rồi chạy dưới dạng AI biên trên thiết bị; thiết bị gửi các kết quả phát hiện và hình ảnh được chọn trở lại đám mây, nơi chúng trở thành dữ liệu huấn luyện cho phiên bản model tiếp theo.