Prompt Enrichment

Обогащение промптов — это автоматизированный процесс дополнения исходного ввода пользователя релевантным контекстом, конкретными инструкциями или дополнительными данными перед их передачей модели искусственного интеллекта (AI). Этот метод действует как интеллектуальный промежуточный слой, оптимизирующий взаимодействие между людьми и машинами и обеспечивающий получение большими языковыми моделями (LLMs) и системами компьютерного зрения полноценных запросов. Добавляя сведения, которые пользователь может упустить, — например, историю предпочтений, данные о местоположении или технические ограничения, — обогащение промптов значительно повышает точность и персонализацию результатов модели, не требуя от пользователя экспертных навыков составления подробных инструкций.

Механизм обогащения#

Основная функция обогащения промптов — устранить разрыв между расплывчатым намерением человека и точным, насыщенным данными вводом, необходимым моделям для оптимальной работы. Получив запрос, система анализирует его и извлекает необходимую справочную информацию из графа знаний или структурированной базы данных. Эти извлечённые данные программно форматируются и добавляются к исходному промпту.

Например, в рабочих процессах обработки естественного языка (NLP) простой вопрос вроде «Каков статус?» не содержит достаточного контекста. Система обогащения определяет активную сессию, извлекает последний номер заказа из транзакционной базы данных и переписывает промпт следующим образом: «Пользователь спрашивает о заказе №998, который сейчас находится в пути. Предоставь информацию о доставке на основе этого статуса». В этом процессе часто используются векторные базы данных, чтобы быстро находить семантически релевантный контекст для добавления.

Практические применения#

Обогащение промптов необходимо для развёртывания надёжных приложений генеративного AI в различных отраслях, повышая эффективность систем, работающих как с текстом, так и с изображениями:

1. Контекстная поддержка клиентов: В автоматизированных службах поддержки чат-бот использует обогащение, чтобы получить доступ к истории покупок клиента и информации о его технической среде. Вместо того чтобы запрашивать у пользователя версию устройства, система извлекает эти сведения из метаданных аккаунта и добавляет их в промпт. Это позволяет AI-агенту сразу предоставлять инструкции по устранению неполадок для конкретного устройства, значительно улучшая клиентский опыт.

2. Динамическая настройка компьютерного зрения: В сфере безопасности пользователь может просто включить настройку «Ночной режим». В фоновом режиме обогащение промпта преобразует это намерение высокого уровня в конкретные классы объектов для детектора с открытым словарём, такого как YOLO-World. Система дополняет промпт, чтобы специально искать «фонарь», «подозрительное движение» или «несанкционированное лицо», позволяя модели динамически менять фокус обнаружения объектов.

Пример: динамическое обогащение классов#

Следующий пример на Python демонстрирует концепцию обогащения промптов с использованием пакета ultralytics. Здесь намерение пользователя высокого уровня программно преобразуется в список конкретных описательных классов, которые сканирует модель.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Обогащение промптов и связанные концепции#

Для эффективной реализации операций машинного обучения (MLOps) полезно отличать обогащение промптов от схожих терминов:

• Генерация с дополнением извлечёнными данными (RAG): RAG — это конкретный метод обогащения. Он строго обозначает механизм извлечения релевантных документов из внешнего корпуса для формирования ответа модели на основе проверяемого контекста. Обогащение — более широкое понятие, которое включает RAG, но также охватывает добавление статических данных сессии, метаданных пользователя или системного времени без обязательного выполнения сложного семантического поиска.
• Проектирование промптов: Это ручная разработка эффективных промптов. Обогащение — автоматизированный процесс, который динамически применяет принципы проектирования промптов во время выполнения.
• Настройка промптов: Это метод дообучения с эффективным использованием параметров (PEFT), при котором «мягкие промпты» (обучаемые тензоры) оптимизируются во время обучения. Обогащение промптов полностью выполняется во время инференса в реальном времени и не изменяет веса модели.
• Обучение на небольшом количестве примеров: Этот подход предполагает добавление примеров в промпт, чтобы обучить модель выполнению задачи. Системы обогащения часто динамически добавляют такие примеры на основе типа задачи, фактически объединяя обе концепции.

Актуальность для современных систем AI#

По мере того как модели, такие как Ultralytics YOLO26 и GPT-4, становятся более мощными, узким местом часто становится качество входных данных. Обогащение промптов уменьшает галлюцинации в LLMs, опирая модель на предоставленные фактические данные. В компьютерном зрении (CV) оно позволяет создавать гибкие системы обнаружения с обучением без примеров, способные мгновенно адаптироваться к новым условиям без повторного обучения — достаточно изменить текстовые промпты, подаваемые в систему. Эта гибкость крайне важна для создания масштабируемых решений мультимодального AI, способных работать одновременно с текстом и изображениями. Пользователи, которым нужно управлять наборами данных, используемыми для формирования контекста этих систем, часто полагаются на такие инструменты, как Ultralytics Platform, чтобы эффективно организовывать и аннотировать свою информацию.