Prompt Enrichment

Обогащение промпта — это автоматизированный процесс дополнения исходного ввода пользователя релевантным контекстом, конкретными инструкциями или вспомогательными данными перед его отправкой в модель Искусственного интеллекта (ИИ). Этот метод выступает в роли интеллектуального промежуточного уровня, который оптимизирует взаимодействие между человеком и машиной, гарантируя, что Большие языковые модели (LLM) и системы компьютерного зрения получат исчерпывающие запросы. Внедряя детали, которые пользователь может упустить — такие как исторические предпочтения, данные о местоположении или технические ограничения, — обогащение промпта существенно повышает точность и персонализацию вывода модели, не требуя от тебя быть экспертом в составлении детальных инструкций.

Механизм обогащения#

Основная функция обогащения промпта заключается в том, чтобы преодолеть разрыв между расплывчатым человеческим намерением и точным, насыщенным данными вводом, который требуется моделям для оптимальной производительности. При получении запроса система анализирует его и извлекает необходимую справочную информацию из графа знаний или структурированной базы данных. Эти извлеченные данные программно форматируются и добавляются к исходному промпту.

Например, в рабочих процессах Обработки естественного языка (NLP) простой вопрос вроде "Каков статус?" контекстуально недостаточен. Система обогащения определяет активную сессию, извлекает последний номер заказа из транзакционной базы данных и перезаписывает промпт следующим образом: "Пользователь спрашивает о Заказе #998, который в настоящее время находится в пути. Предоставьте обновление по доставке на основе этого статуса". Этот процесс часто задействует векторные базы данных для быстрого поиска семантически релевантного контекста для внедрения.

Реальные приложения#

Обогащение промпта имеет важное значение для развертывания надежных приложений генеративного ИИ в различных отраслях, улучшая как текстовые, так и визуальные системы:

1. Клиентская поддержка с учетом контекста: В автоматизированных службах поддержки чат-бот использует обогащение для доступа к истории покупок клиента и его техническому окружению. Вместо того чтобы спрашивать пользователя о версии его устройства, система извлекает эти данные из метаданных учетной записи и внедряет их в промпт. Это позволяет ИИ-агенту предоставлять незамедлительные, специфичные для устройства инструкции по устранению неполадок, существенно улучшая клиентский опыт.

2. Динамическая конфигурация компьютерного зрения: В операциях безопасности пользователь может просто переключить настройку «Ночной режим». За кулисами обогащение промпта преобразует это высокоуровневое намерение в конкретные классы объектов для детектора с открытым словарем, такого как YOLO-World. Система обогащает промпт для целенаправленного сканирования на наличие «фонарика», «подозрительного движения» или «неавторизованного лица», позволяя модели динамически адаптировать фокус обнаружения объектов.

Пример: Динамическое обогащение классов#

Следующий пример на Python демонстрирует концепцию обогащения промпта с использованием пакета ultralytics. Здесь высокоуровневое намерение пользователя программно обогащается в список конкретных описательных классов, которые сканирует модель.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Обогащение промптов в сравнении с похожими концепциями#

Для реализации эффективных Операций машинного обучения (MLOps) полезно отличать обогащение промпта от схожих терминов:

• Генерация с дополненным извлечением (RAG): RAG — это конкретный метод обогащения. Он относится строго к механизму извлечения релевантных документов из внешнего корпуса для обоснования ответа модели. Обогащение — это более широкая концепция, которая включает в себя RAG, но также охватывает внедрение статических данных сеанса, метаданных пользователя или системного времени без обязательного выполнения сложного семантического поиска.
• Промпт-инжиниринг: Это ручное ремесло разработки эффективных промптов. Обогащение — это автоматизированный процесс, который применяет принципы промпт-инжиниринга динамически во время выполнения.
• Промпт-тюнинг: Это метод эффективной настройки параметров (PEFT), при котором «мягкие промпты» (обучаемые тензоры) оптимизируются во время обучения. Обогащение промпта происходит полностью во время инференса в реальном времени и не изменяет веса модели.
• Обучение на малом числе примеров (Few-Shot Learning): Это предполагает предоставление примеров внутри промпта, чтобы научить модель выполнению задачи. Системы обогащения часто внедряют такие примеры для обучения на малом числе примеров динамически на основе типа задачи, эффективно объединяя обе концепции.

Актуальность в современных системах ИИ#

По мере того как такие модели, как Ultralytics YOLO26 и GPT-4, становятся все более способными, узкое место часто смещается в сторону качества ввода. Обогащение промпта снижает галлюцинации в LLM, заземляя модель на фактических, предоставленных данных. В компьютерном зрении (CV) оно позволяет создавать гибкие системы обнаружения на основе безобучаемого обучения (zero-shot learning), которые могут мгновенно адаптироваться к новым средам без переобучения, просто путем изменения текстовых промптов, подаваемых в систему. Эта гибкость имеет решающее значение для создания масштабируемых мультимодальных ИИ решений, способных рассуждать как над текстом, так и над изображениями. Пользователи, желающие управлять наборами данных, используемыми для заземления этих систем, часто полагаются на такие инструменты, как Платформа Ultralytics, для эффективной организации и разметки своей информации.