LLMOps

LLMOps (vận hành model ngôn ngữ lớn) là tập hợp các quy trình và công cụ để xây dựng, phát hành và vận hành các ứng dụng dùng model ngôn ngữ lớn (LLM) trong môi trường production. Lĩnh vực này bao gồm quản lý phiên bản prompt và lựa chọn model, đánh giá văn bản được tạo trước và sau khi phát hành, truy vết các yêu cầu nhiều bước qua quá trình truy xuất và gọi công cụ, kiểm soát độ trễ và chi phí token, cũng như phòng tránh các lỗi như ảo giác và prompt injection. LLMOps là nhánh của vận hành học máy (MLOps) dành cho các ứng dụng này; thuật ngữ này được sử dụng rộng rãi từ năm 2023 khi các công ty chuyển nguyên mẫu chatbot thành sản phẩm. Hầu hết nhóm điều chỉnh một model nền tảng lưu trữ hoặc có trọng số mở thông qua kỹ thuật prompt, sinh tăng cường truy xuất (RAG) hoặc tinh chỉnh, thay vì huấn luyện từ đầu; do đó, phần lớn công việc vận hành chuyển từ pipeline huấn luyện sang mọi thành phần xung quanh model.

LLMOps khác MLOps như thế nào#

Đơn vị phát hành lớn hơn một tập trọng số. Một thay đổi có thể tác động đến template prompt, tên và phiên bản model, thiết lập lấy mẫu, chỉ mục truy xuất và định nghĩa công cụ; mỗi thành phần đều được quản lý phiên bản vì bất kỳ thành phần nào cũng có thể làm thay đổi hành vi. Công cụ quản lý prompt lưu template kèm số phiên bản để ứng dụng lấy khi chạy, nhờ đó có thể phát hành hoặc khôi phục chỉnh sửa prompt mà không cần phát hành mã. Model lưu trữ cũng có thể thay đổi ngầm bên dưới ứng dụng, nên các nhóm cố định theo snapshot model có ngày cụ thể nếu nhà cung cấp hỗ trợ và chạy lại bộ kiểm thử trước khi chuyển đổi. Công việc dữ liệu cũng thay đổi: ứng dụng RAG quản lý phiên bản tài liệu, thiết lập phân đoạn và model embedding phía sau chỉ mục tìm kiếm; chuyển model embedding đồng nghĩa phải tạo lại embedding cho toàn bộ kho dữ liệu. Các biến thể đã tinh chỉnh thường được lưu dưới dạng adapter LoRA nhỏ, được một máy chủ tải lên trên model nền dùng chung.

Đánh giá khó hơn vì văn bản được tạo hiếm khi chỉ có một câu trả lời đúng. Các nhóm duy trì một bộ dữ liệu chuẩn gồm các đầu vào tiêu biểu kèm câu trả lời tham chiếu hoặc tiêu chí chấm điểm, rồi đánh giá đầu ra bằng kiểm tra chính xác, đánh giá của con người hoặc LLM-as-a-judge, trong đó một model mạnh chấm điểm câu trả lời. Trong bài báo năm 2023 Judging LLM-as-a-Judge, Lianmin Zheng và cộng sự phát hiện GPT-4 đồng thuận với đánh giá của con người hơn 80% số lần, ngang với mức độ đồng thuận giữa những người đánh giá. Mỗi ứng viên phát hành đều chạy qua cùng một bộ kiểm thử, còn lưu lượng production liên tục bổ sung các trường hợp mới:

Chi phí và độ trễ được quản lý theo từng yêu cầu. Model lưu trữ tính phí theo token, nên các nhóm giảm chi phí bằng bộ nhớ đệm prompt, bộ nhớ đệm ngữ nghĩa và định tuyến model để chuyển yêu cầu đơn giản đến model nhỏ hơn. Một mô hình liên quan đặt model rẻ hơn trước model đắt hơn: template YOLO → VLM Monitor trong Ultralytics Platform Agents chạy YOLO26 trước, chỉ gọi model thị giác-ngôn ngữ cho những hình ảnh mà YOLO phát hiện có người; chi phí sử dụng model ngôn ngữ được tính vào khóa nhà cung cấp riêng của workspace. Công việc đảm bảo an toàn diễn ra song song: guardrail AI lọc đầu vào và đầu ra trong mọi yêu cầu, còn red team kiểm tra khả năng jailbreak trước mỗi lần phát hành.

Truy vết, cổng kết nối và phục vụ model#

Khả năng quan sát ứng dụng LLM được xây dựng dựa trên trace. Mỗi yêu cầu trở thành một cây span gồm prompt, từng lần gọi model, mỗi lần truy xuất từ cơ sở dữ liệu vector và mỗi lần gọi công cụ của AI agent, kèm số lượng token, độ trễ và chi phí. Quy ước ngữ nghĩa cho AI tạo sinh của OpenTelemetry chuẩn hóa tên thuộc tính cho model và mức sử dụng token; các công cụ như LangSmith, Langfuse, Arize Phoenix và MLflow Tracing lưu trữ cũng như tìm kiếm trace. Trace còn hỗ trợ đánh giá trực tuyến: câu trả lời production được lấy mẫu sẽ được chấm bằng cùng bộ đánh giá và tiêu chí như bộ kiểm thử ngoại tuyến, còn lượt thích hoặc không thích của từng người dùng được gắn vào trace tạo ra câu trả lời.

Cổng AI nằm giữa ứng dụng và nhà cung cấp model, lưu giữ khóa API và tập trung thực thi giới hạn tốc độ, cơ chế dự phòng cùng ngân sách chi tiêu. Các nhóm lưu trữ model có trọng số mở chạy chúng trên máy chủ suy luận như vLLM và SGLang, dùng batch liên tục và bộ nhớ KV cache phân trang để phục vụ nhiều yêu cầu đồng thời trên mỗi GPU.