LLMOps

대규모 언어 모델 운영(LLMOps)은 프로덕션에서 대규모 언어 모델(LLM) 기반 애플리케이션을 구축, 출시 및 운영하는 데 필요한 실무와 도구를 말합니다. 여기에는 프롬프트 및 모델 선택의 버전 관리, 출시 전후 생성 텍스트 평가, 검색 및 도구 호출을 통한 다단계 요청 추적, 지연 시간 및 토큰 비용 관리, 환각 및 프롬프트 인젝션과 같은 실패 방지가 포함됩니다. LLMOps는 이러한 애플리케이션에 특화된 머신러닝 운영(MLOps) 분야입니다. 기업들이 챗봇 프로토타입을 제품으로 전환하면서 이 용어는 2023년에 널리 쓰이기 시작했습니다. 대부분의 팀은 파운데이션 모델을 처음부터 학습시키는 대신 호스팅 또는 오픈 웨이트 파운데이션 모델을 프롬프트 엔지니어링, 검색 증강 생성(RAG) 또는 미세 조정으로 조정합니다. 이에 따라 운영 작업의 중심이 학습 파이프라인에서 모델을 둘러싼 모든 요소로 이동합니다.

LLMOps와 MLOps의 차이#

출시 단위는 가중치 집합보다 더 큽니다. 한 번의 변경으로 프롬프트 템플릿, 모델 이름 및 버전, 샘플링 설정, 검색 인덱스, 도구 정의가 바뀔 수 있으며, 각 항목이 동작에 영향을 주므로 모두 버전 관리됩니다. 프롬프트 관리 도구는 버전 번호가 붙은 템플릿을 저장하고 애플리케이션은 런타임에 이를 가져오므로, 코드 출시 없이 프롬프트를 수정하고 롤백할 수 있습니다. 호스팅 모델은 애플리케이션과 무관하게 변경될 수도 있습니다. 따라서 공급업체가 제공하는 경우 팀은 날짜가 지정된 모델 스냅샷을 고정하고 전환 전에 테스트를 다시 실행합니다. 데이터 작업의 형태도 달라집니다. RAG 애플리케이션은 검색 인덱스에 사용되는 문서, 청킹 설정 및 임베딩 모델의 버전을 관리하며, 임베딩 모델을 바꾸면 전체 코퍼스를 다시 임베딩해야 합니다. 미세 조정된 변형 모델은 하나의 서버가 공유 기본 모델 위에 로드하는 소형 LoRA 어댑터로 저장되는 경우가 많습니다.

생성 텍스트에는 정답이 하나뿐인 경우가 드물기 때문에 평가가 더 어렵습니다. 팀은 대표 입력과 참조 답변 또는 채점 기준이 포함된 골든 데이터셋을 유지하고, 정확 일치 검사, 사람의 검토 또는 강력한 모델이 응답을 채점하는 LLM-as-a-judge 방식으로 출력을 평가합니다. 2023년 논문 Judging LLM-as-a-Judge에서 롄민 정과 동료들은 GPT-4가 80% 넘는 경우 인간의 선호도와 일치했으며, 이는 인간끼리 의견이 일치하는 비율만큼 높았다고 밝혔습니다. 모든 후보 릴리스는 동일한 평가 모음을 거치며 프로덕션 트래픽은 지속해서 사례를 추가합니다.

비용과 지연 시간은 요청별로 관리합니다. 호스팅 모델은 토큰 단위로 과금하므로, 팀은 프롬프트 캐싱, 시맨틱 캐싱, 간단한 요청을 소형 모델로 보내는 모델 라우팅으로 비용을 절감합니다. 이와 관련된 패턴으로 저렴한 모델을 고가 모델 앞에 배치하는 방식이 있습니다. Ultralytics Platform Agents의 YOLO → VLM Monitor 템플릿은 먼저 YOLO26을 실행하고, YOLO가 사람을 감지한 이미지만 비전-언어 모델에 전달합니다. 언어 모델 사용 비용은 작업 공간 자체의 공급업체 키로 청구됩니다. 안전성 작업도 함께 수행됩니다. AI 가드레일은 매 요청의 입력과 출력을 필터링하고, 레드팀 테스트는 각 릴리스 전에 탈옥 취약점을 탐색합니다.

추적, 게이트웨이 및 서빙#

LLM 애플리케이션의 관측 가능성은 트레이스를 기반으로 합니다. 각 요청은 프롬프트, 모든 모델 호출, 벡터 데이터베이스에서 수행되는 각 검색, AI 에이전트의 각 도구 호출을 나타내는 스팬 트리로 변환되며, 여기에 토큰 수, 지연 시간 및 비용이 첨부됩니다. OpenTelemetry의 생성형 AI 시맨틱 규약은 모델 및 토큰 사용량의 속성 이름을 표준화합니다. LangSmith, Langfuse, Arize Phoenix 및 MLflow Tracing과 같은 도구는 트레이스를 저장하고 검색합니다. 트레이스는 온라인 평가에도 활용됩니다. 샘플링한 프로덕션 답변을 오프라인 평가 모음과 동일한 평가자 및 기준으로 채점하며, 각 사용자의 좋아요 또는 싫어요를 해당 답변을 생성한 트레이스에 연결합니다.

AI 게이트웨이는 애플리케이션과 모델 공급업체 사이에 위치해 API 키를 관리하고, 속도 제한, 대체 경로 및 지출 예산을 한곳에서 적용합니다. 오픈 웨이트 모델을 호스팅하는 팀은 vLLM 및 SGLang과 같은 추론 서버를 사용합니다. 이러한 서버는 연속 배칭과 페이지드 KV 캐시 메모리를 사용해 각 GPU에서 다수의 동시 요청을 처리합니다.