LLMOps

LLMOps (эксплуатация больших языковых моделей) — это набор практик и инструментов для создания, выпуска и работы приложений на основе больших языковых моделей (LLM) в производственной среде. Он охватывает версионирование промптов и вариантов моделей, оценку сгенерированного текста до и после выпуска, трассировку многошаговых запросов через поиск и вызовы инструментов, управление задержками и стоимостью токенов, а также защиту от таких сбоев, как галлюцинации и инъекции промптов. LLMOps — это направление эксплуатации машинного обучения (MLOps), посвящённое таким приложениям. Термин широко распространился в 2023 году, когда компании начали превращать прототипы чат-ботов в продукты. Большинство команд адаптирует размещённую у провайдера модель или фундаментальную модель с открытыми весами с помощью промпт-инжиниринга, генерации с дополнением посредством поиска (RAG) или тонкой настройки, а не обучает модель с нуля. В результате большая часть операционной работы переносится с конвейеров обучения на всё, что связано с моделью.

Чем LLMOps отличается от MLOps#

Единица выпуска — это не просто набор весов. Одно изменение может затронуть шаблон промпта, название и версию модели, параметры сэмплирования, поисковый индекс и определения инструментов; каждый компонент версионируется, поскольку любой из них может изменить поведение. Инструменты управления промптами хранят шаблоны с номерами версий, которые приложение получает во время выполнения, поэтому изменения промпта можно выпускать и отменять без релиза кода. Размещённые у провайдера модели тоже могут меняться без ведома приложения, поэтому команды фиксируют датированные снимки моделей, если провайдер их предлагает, и повторно запускают тесты перед переходом на новую версию. Меняется и работа с данными: RAG-приложение версионирует документы, настройки разбиения на фрагменты и модель эмбеддингов, используемую поисковым индексом; при смене модели эмбеддингов нужно повторно построить эмбеддинги для всего корпуса. Варианты с тонкой настройкой часто хранятся в виде небольших адаптеров LoRA, которые сервер загружает поверх общей базовой модели.

Оценка сложнее, поскольку у сгенерированного текста редко бывает один правильный ответ. Команды поддерживают эталонный набор данных с типичными входными данными и эталонными ответами или критериями оценки, а результаты проверяют точными тестами, вручную или с помощью LLM-судьи — сильной модели, оценивающей ответы. В статье 2023 года Judging LLM-as-a-Judge Ляньминь Чжэн и его коллеги установили, что GPT-4 совпадала с предпочтениями людей более чем в 80% случаев — не реже, чем люди соглашались друг с другом. Каждый кандидат на выпуск проходит один и тот же набор тестов, а производственный трафик постоянно добавляет новые случаи:

Стоимость и задержку контролируют для каждого запроса. Размещённые у провайдера модели тарифицируются за токен, поэтому команды сокращают расходы с помощью кеширования промптов, семантического кеширования и маршрутизации моделей, направляющей простые запросы к небольшим моделям. В похожем подходе перед дорогой моделью ставят дешёвую: шаблон YOLO → VLM Monitor в агентах Ultralytics Platform сначала запускает YOLO26 и вызывает модель «зрение — язык», только если YOLO обнаруживает на изображении человека; использование языковой модели оплачивается ключом провайдера самого рабочего пространства. Параллельно ведётся работа по обеспечению безопасности: защитные механизмы ИИ фильтруют входные и выходные данные каждого запроса, а ред-тиминг проверяет возможность взлома ограничений перед каждым выпуском.

Трассировка, шлюзы и обслуживание моделей#

Наблюдаемость приложений на основе LLM строится на трассировках. Каждый запрос превращается в дерево интервалов для промпта, каждого вызова модели, каждого обращения к векторной базе данных и каждого вызова инструмента ИИ-агентом; к ним добавляются количество токенов, задержка и стоимость. Семантические соглашения для генеративного ИИ в OpenTelemetry стандартизируют названия атрибутов моделей и использования токенов, а такие инструменты, как LangSmith, Langfuse, Arize Phoenix и MLflow Tracing, хранят трассировки и позволяют выполнять по ним поиск. Трассировки также используются для онлайн-оценки: ответы из производственной среды, выбранные для проверки, оцениваются теми же судьями и критериями, что и в автономном наборе тестов, а отметка «нравится» или «не нравится» от пользователя добавляется к трассировке, которая привела к ответу.

Шлюз ИИ располагается между приложениями и провайдерами моделей; он хранит ключи API и централизованно задаёт ограничения скорости запросов, резервные варианты и бюджеты расходов. Команды, размещающие модели с открытыми весами, запускают их на серверах инференса, например vLLM и SGLang. Для обработки множества параллельных запросов на каждом GPU эти серверы используют непрерывное пакетирование и постраничное управление памятью KV-кеша.