Обогащение с помощью подсказок

Как работает обогащение с помощью подсказок

Процесс обогащения обычно начинается с анализа исходной подсказки пользователя. На основе этого анализа система использует дополнительные источники информации или предопределенные правила, чтобы дополнить подсказку. Это может включать в себя доступ к истории взаимодействия с пользователем, извлечение соответствующих документов из базы знаний, учет контекста текущего разговора или применение определенных инструкций по форматированию, требуемых моделью. Например, простая подсказка типа "Обобщите последние разработки Ultralytics " может быть дополнена фразой "Обобщите ключевые особенности и улучшения производительности Ultralytics YOLOv11 по сравнению с YOLOv8сфокусировавшись на задачах обнаружения объектов ". Обычно используются такие техники, как Retrieval-Augmented Generation (RAG), когда система получает соответствующие фрагменты данных (например, из Ultralytics Docs) и включает их в контекстное окно подсказки, прежде чем отправить ее в LLM. Таким образом, модель получает необходимую информацию, чтобы сгенерировать исчерпывающий и точный ответ.

Применение и примеры

Обогащение подсказок ценно для множества приложений, управляемых искусственным интеллектом, повышая качество взаимодействия и эффективность выполнения задач:

• Чат-боты для поддержки клиентов: Клиент, задающий вопрос "Каков статус моего заказа?", может дополнить свою подсказку идентификатором пользователя или номером последнего заказа, полученным из системы управления взаимоотношениями с клиентами (CRM) с помощью интеграции API. Обогащенная подсказка позволит чат-боту сразу же предоставить конкретное обновление, а не задавать последующие уточняющие вопросы.
• Виртуальные ассистенты для персонализации: Когда пользователь просит виртуального помощника вроде Google Assistant или Alexa "Включить музыку", подсказка может быть обогащена на основе истории прослушивания, предпочитаемых жанров, времени суток или даже текущей активности пользователя, обнаруженной с помощью подключенных устройств, что приведет к более персонализированному выбору музыки.
• Инструменты для создания контента: Творческий помощник по написанию текстов может получить расплывчатую подсказку вроде "Напиши рассказ". Обогащение подсказки может добавить детали, основанные на предыдущих взаимодействиях, например "Напиши короткий научно-фантастический рассказ, действие которого происходит в антиутопическом будущем, с участием мятежного главного героя", что сделает вывод более соответствующим вероятным интересам пользователя.
• Семантические поисковые системы: При поиске внутренних документов компании такой запрос, как "Найти отчеты о работе четвертого квартала", может быть дополнен данными об отделе, роли и правах доступа пользователя, чтобы извлечь из огромного озера данных наиболее релевантные и допустимые документы.

Обогащение подсказок по сравнению со смежными понятиями

Понимание нюансов между оперативным обогащением и похожими терминами крайне важно:

• Разработка подсказок: Как правило, это ручной процесс, в ходе которого люди тщательно разрабатывают подсказки, чтобы вызвать желаемый ответ у ИИ. Обогащение подсказок, наоборот, направлено на автоматизацию или полуавтоматизацию этого процесса, часто основываясь на первоначальной, менее совершенной подсказке пользователя.
• Настройка подсказок: Эта техника предполагает обучение мягких вкраплений подсказок с помощью градиентного спуска, чтобы обусловить застывшую предварительно обученную модель для конкретных задач. При этом изменяются части входного представления модели, а не сама текстовая подсказка. Это одна из форм параметрически эффективной тонкой настройки (PEFT).
• Тонкая настройка: Она заключается в обновлении весов модели, предварительно обученной на небольшом наборе данных, специфичном для конкретной задачи. Обогащение подсказок не изменяет параметры модели, оно лишь модифицирует входную подсказку, подаваемую на существующую модель.
• Retrieval-Augmented Generation (RAG): RAG - это особый метод, часто используемый в системах обогащения подсказок. Он сосредоточен на извлечении релевантных внешних данных и добавлении их в контекст подсказки, чтобы улучшить фактологическое обоснование и уменьшить количество галлюцинаций.

Актуальность в компьютерном зрении

Хотя обогащение подсказок чаще всего ассоциируется с LLM и пониманием естественного языка (NLU), его принципы становятся актуальными и в компьютерном зрении (CV). Традиционные задачи КВ, такие как стандартное обнаружение объектов с помощью таких моделей, как Ultralytics YOLO обычно опираются на изображения, а не на сложные текстовые подсказки. Однако новые мультимодальные модели и подсказывающие системы зрения, такие как CLIP, YOLO и YOLOE, принимают текстовые или графические подсказки для решения таких задач, как обнаружение нулевого выстрела. Для этих моделей обогащение простой текстовой подсказки (например, "обнаружить транспортные средства") большим количеством контекста (например, "обнаружить только аварийные транспортные средства, такие как машины скорой помощи и пожарные машины в этой записи с дорожной камеры") может значительно улучшить производительность и специфичность. Платформы вроде Ultralytics HUB потенциально могут интегрировать подобные техники для упрощения взаимодействия с пользователем при определении сложных задач видения и анализе результатов, представляя собой область текущих исследований и разработок ИИ, направленных на повышение безопасности и удобства использования ИИ в различных областях.