Serverless Computing

Điện toán serverless là mô hình thực thi trên đám mây, trong đó nhà cung cấp chỉ chạy mã khi có sự kiện kích hoạt, tự động khởi chạy và mở rộng máy chủ nền, đưa số máy chủ về 0 khi lưu lượng dừng và tính phí theo yêu cầu cùng thời gian thực thi thay vì máy được đặt trước. Máy chủ vẫn tồn tại, nhưng nhà phát triển không bao giờ phải cấp phát, vá lỗi hay định cỡ chúng. Mô hình này trở nên phổ biến rộng rãi với AWS Lambda, được công bố vào tháng 11 năm 2014, và hiện bao gồm các nền tảng hàm như Lambda, Azure Functions và Cloud Run functions, cùng các container serverless như Google Cloud Run và Azure Container Apps. Các nhà nghiên cứu tại UC Berkeley đã mô tả ưu điểm và hạn chế của mô hình trong bài báo năm 2019 "Lập trình đám mây đơn giản hóa: Góc nhìn Berkeley về điện toán serverless". Với machine learning, serverless phù hợp với phục vụ model có lưu lượng tăng đột biến hoặc khó dự đoán, khi việc trả phí cho máy chủ GPU nhàn rỗi giữa các đợt tăng tải sẽ tốn hơn chính khối lượng công việc.

Cách thức thực thi serverless#

Mã được đóng gói dưới dạng hàm hoặc image container và gắn với các trigger: yêu cầu HTTP, tệp được đưa vào bộ lưu trữ đối tượng, thông điệp trong hàng đợi hoặc lịch chạy. Khi có sự kiện và một instance đang hoạt động sẵn sàng, nền tảng lập tức chạy trình xử lý trên instance đó. Nếu không, hệ thống thực hiện khởi động nguội: tạo sandbox cô lập, chẳng hạn một trong các microVM Firecracker mà AWS xây dựng cho Lambda, tải mã, khởi chạy runtime ngôn ngữ và chạy mã khởi tạo bên ngoài trình xử lý trước khi xử lý sự kiện. Các instance không lưu trạng thái và có thể bị loại bỏ, vì vậy mọi dữ liệu cần tồn tại lâu hơn một yêu cầu phải được đưa vào bộ lưu trữ bên ngoài hoặc cơ sở dữ liệu.

Khởi động nguội và model machine learning#

Machine learning khiến khởi động nguội tốn kém vì quá trình khởi tạo phải import framework như PyTorch và tải trọng số model có thể lên tới hàng trăm megabyte. Mẫu triển khai phổ biến là tải model một lần cho mỗi instance, bên ngoài trình xử lý hoặc trong lần sử dụng đầu tiên, để mọi lần gọi khi instance còn ấm đều dùng lại model đó. Trình xử lý này áp dụng mẫu đó với bộ phân loại ResNet-50 từ torchvision:

import time

import torch
import torchvision

model = None  # module state survives between invocations while the instance stays warm


def handler(event, context):
    """Classify one image tensor, building the model only on a cold start."""
    global model
    cold_start = model is None
    if cold_start:
        model = torchvision.models.resnet50().eval()  # built once per instance
    with torch.inference_mode():
        logits = model(event["image"])
    return {"cold_start": cold_start, "class_id": int(logits.argmax())}


for _ in range(3):
    start = time.perf_counter()
    response = handler({"image": torch.rand(1, 3, 224, 224)}, context=None)
    print(response["cold_start"], f"{(time.perf_counter() - start) * 1000:.0f} ms")

Trên CPU Apple M5 Pro, lần gọi đầu tiên khởi tạo mạng và mất khoảng 0,2 giây, trong khi hai lần gọi tiếp theo dùng lại mạng mất khoảng 15 ms mỗi lần. Các nhóm giảm thời gian khởi động nguội còn lại bằng image container nhỏ hơn, model gọn hoặc lượng tử hóa, cùng runtime nhẹ hơn như ONNX Runtime ONNX, hoặc loại bỏ thời gian này bằng cách duy trì số instance ấm tối thiểu, chẳng hạn Lambda provisioned concurrency hoặc Cloud Run minimum instances, nhưng khi đó lại phát sinh phí cho thời gian nhàn rỗi.

Serverless cho workload AI#

Serverless phù hợp với pipeline thị giác máy tính hướng sự kiện. Tệp tải lên kho lưu trữ đối tượng có thể kích hoạt một function để xác thực và thay đổi kích thước ảnh trong bước tiền xử lý dữ liệu trước khi ảnh được đưa vào tập dữ liệu huấn luyện; trong hệ thống báo động an ninh, cảm biến chuyển động có thể gửi một khung hình đến function phát hiện đối tượng, chỉ phát cảnh báo khi phát hiện người. Các giới hạn của nền tảng quyết định phần còn lại: AWS Lambda chạy mỗi lần gọi tối đa 15 phút, hỗ trợ tối đa 10.240 MB bộ nhớ và không có GPU; cấu hình này phù hợp với inference CPU bằng model nhỏ gọn nhưng không phù hợp với các lần huấn luyện dài, chưa kể huấn luyện phân tán trên nhiều GPU. Serverless GPU đã lấp khoảng trống đó: Cloud Run gắn GPU NVIDIA L4 vào container vẫn có thể scale về 0, còn các nền tảng như Modal tính phí GPU theo giây.

Ultralytics Platform mang đến sự đánh đổi tương tự cho triển khai YOLO: endpoint ở cấu hình mặc định gồm 1 vCPU và 2 GiB được miễn phí và tự giảm về 0 khi nhàn rỗi; khi khởi chạy từ trạng thái nhàn rỗi, thời gian có thể lên tới khoảng một phút, trong khi các cấu hình tùy chỉnh giữ một instance hoạt động liên tục và tính phí theo thời gian chạy.

Serverless và các mô hình liên quan#

• Cơ sở hạ tầng dưới dạng dịch vụ: Máy ảo chạy và tính phí liên tục suốt ngày đêm, bất kể có yêu cầu đến hay không; khách hàng quản lý hệ điều hành và khả năng mở rộng. Các tác vụ huấn luyện kéo dài thường chạy trên mô hình này.
• Kubernetes: Điều phối container trên các cụm do nhóm vận hành. Knative bổ sung khả năng mở rộng về 0 dựa trên yêu cầu, còn KServe sử dụng cơ chế này để phục vụ model.
• Điện toán biên: Chạy mã trên hoặc gần các thiết bị tạo ra dữ liệu. Serverless chạy mã trong một vùng đám mây; một số nền tảng biên kết hợp cả hai bằng cách chạy hàm tại nhiều địa điểm nhỏ gần người dùng.