Prompt Enrichment

Обогащение промптов — это автоматизированный процесс дополнения исходного запроса пользователя релевантным контекстом, конкретными инструкциями или вспомогательными данными перед их отправкой в модель искусственного интеллекта (ИИ). Этот метод выступает в роли интеллектуального промежуточного уровня, который оптимизирует взаимодействие человека и машины, гарантируя, что большие языковые модели (LLM) и системы компьютерного зрения получают исчерпывающие запросы. Добавляя детали, которые пользователь мог пропустить (например, историю предпочтений, данные о местоположении или технические ограничения), обогащение промптов значительно повышает точность и персонализацию вывода модели, избавляя пользователя от необходимости быть экспертом в составлении детальных инструкций.

Link to this sectionМеханизм обогащения#

Основная задача обогащения промптов — преодолеть разрыв между расплывчатым намерением человека и точным, насыщенным данными вводом, необходимым моделям для оптимальной работы. Когда запрос получен, система анализирует его и извлекает нужную фоновую информацию из графа знаний или структурированной базы данных. Эти извлеченные данные программно форматируются и добавляются к исходному промпту.

Например, в рабочих процессах обработки естественного языка (NLP) простой вопрос вроде «Каков статус?» является контекстуально недостаточным. Система обогащения определяет активную сессию, извлекает последний номер заказа из транзакционной базы данных и переписывает промпт на: «Пользователь спрашивает о заказе №998, который в данный момент находится в пути. Предоставьте обновление по доставке на основе этого статуса». Этот процесс часто задействует векторные базы данных для быстрого поиска семантически релевантного контекста для вставки.

Link to this sectionРеальные приложения#

Обогащение промптов критически важно для развертывания надежных приложений на базе генеративного ИИ в различных отраслях, улучшая работу как текстовых, так и визуальных систем:

1. Контекстно-зависимая поддержка клиентов: В автоматизированных службах поддержки чат-бот использует обогащение для доступа к истории покупок клиента и его технической среде. Вместо того чтобы спрашивать пользователя о версии устройства, система извлекает эти данные из метаданных учетной записи и добавляет их в промпт. Это позволяет ИИ-агенту предлагать немедленные шаги по устранению неполадок именно для конкретного устройства, значительно улучшая качество обслуживания клиентов.

2. Динамическая конфигурация компьютерного зрения: В системах безопасности пользователь может просто включить настройку «Ночной режим». За кулисами обогащение промптов переводит это намерение высокого уровня в конкретные классы объектов для детектора с открытым словарем, такого как YOLO-World. Система дополняет промпт, чтобы он целенаправленно искал «фонарик», «подозрительное движение» или «неавторизованное лицо», позволяя модели динамически адаптировать фокус своего обнаружения объектов.

Link to this sectionПример: Динамическое обогащение классов#

Следующий пример на Python демонстрирует концепцию обогащения промптов с использованием пакета ultralytics. Здесь намерение пользователя высокого уровня программно обогащается до списка конкретных описательных классов, которые модель использует для сканирования.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Link to this sectionОбогащение промптов в сравнении с похожими концепциями#

Для эффективного внедрения операций машинного обучения (MLOps) полезно отличать обогащение промптов от схожих терминов:

• Генерация с дополнением выборкой (RAG): RAG — это специфический метод обогащения. Он относится строго к механизму извлечения релевантных документов из внешнего корпуса для обоснования ответа модели. Обогащение — это более широкая концепция, которая включает RAG, но также охватывает внедрение статических данных сессии, метаданных пользователя или системного времени без обязательного выполнения сложного семантического поиска.
• Промпт-инжиниринг: Это ручное искусство проектирования эффективных промптов. Обогащение — это автоматизированный процесс, который применяет принципы промпт-инжиниринга динамически во время выполнения.
• Промпт-тюнинг: Это метод параметрически эффективной дообучения (PEFT), при котором «мягкие промпты» (обучаемые тензоры) оптимизируются в процессе тренировки. Обогащение промптов происходит полностью во время вывода в реальном времени и не изменяет веса модели.
• Few-shot обучение: Этот метод включает предоставление примеров в рамках промпта, чтобы обучить модель выполнению задачи. Системы обогащения часто вставляют такие few-shot примеры динамически в зависимости от типа задачи, эффективно объединяя обе концепции.

Link to this sectionАктуальность в современных системах ИИ#

По мере того как такие модели, как Ultralytics YOLO26 и GPT-4, становятся все более способными, узким местом часто становится качество входных данных. Обогащение промптов снижает вероятность галлюцинаций в LLM, обосновывая ответы модели фактическими, предоставленными данными. В компьютерном зрении (CV) это позволяет создавать гибкие системы zero-shot обучения, которые могут мгновенно адаптироваться к новым средам без переобучения, просто путем изменения текстовых промптов, передаваемых в систему. Эта гибкость критически важна для построения масштабируемых, мультимодальных ИИ-решений, способных рассуждать как над текстом, так и над изображениями. Пользователи, стремящиеся управлять наборами данных для обоснования этих систем, часто полагаются на инструменты Ultralytics Platform для эффективной организации и аннотирования своей информации.