Цепочка подтверждений (CoVe)

Метод «цепочки верификации» (CoVe) — это передовая технология проектирования подсказок , разработанная для уменьшения неточностей и фактических ошибок в выходных данных больших языковых моделей (LLM) . По мере усложнения систем искусственного интеллекта их склонность к уверенной генерации ложной информации — явление, известное как «галлюцинация LLM» — остается серьезной проблемой. CoVe решает эту проблему, заставляя модель систематически проверять свои собственные первоначальные ответы, прежде чем представить окончательный ответ пользователю. Этот механизм самокоррекции значительно повышает надежность приложений генеративного ИИ в различных отраслях.

Как работает процесс верификации

Методология CoVe разбивает процесс генерации на четыре отдельных последовательных этапа. Этот структурированный подход имитирует рабочие процессы проверки фактов человеком и активно исследуется ведущими организациями в области ИИ для повышения безопасности и соответствия требованиям ИИ .

• Предварительный ответ : Модель генерирует базовый ответ на запрос пользователя. Этот черновик может содержать непроверенные или вымышленные утверждения.
• Вопросы для проверки плана : Модель анализирует собственный черновик и генерирует список конкретных, целенаправленных вопросов, предназначенных для проверки фактических утверждений, содержащихся в исходном тексте.
• Выполнение независимых проверок : Модель отвечает на проверочные вопросы самостоятельно, не полагаясь на контекст первоначального проекта. Это предотвращает простое подтверждение моделью собственных предубеждений или предыдущих ошибок.
• Создание окончательного проверенного результата : Используя вновь проверенные факты, модель пересматривает первоначальный черновик, устраняя неточности и представляя уточненный, правдивый ответ.

Отличие CoVe от смежных методов

Хотя CoVe часто сравнивают с методом «цепочки рассуждений» , эти два метода служат разным целям. Метод «цепочки рассуждений» побуждает модель «показать свою работу», разбивая сложные логические рассуждения на пошаговые компоненты для решения проблемы. В отличие от этого, метод «цепочки верификации» специально нацелен на фактическую точность, проверяя и корректируя утверждения после создания черновика. Кроме того, CoVe можно использовать в сочетании с конвейерами генерации с расширенным поиском (Retrieval-Augmented Generation, RAG) , где на этапе верификации данные для проверки извлекаются из внешней векторной базы данных , а не полагаются исключительно на внутренние веса модели.

Применение в реальном мире

CoVe очень полезен в областях, где точность фактов имеет решающее значение. Благодаря интеграции этой системы самопроверки разработчики могут доверять системам искусственного интеллекта выполнение задач с высокими требованиями.

• Помощники в сфере здравоохранения : Когда ИИ обобщает симптомы пациента или медицинскую литературу, CoVe гарантирует, что система проверит лекарственные взаимодействия, дозировки и диагностические критерии на соответствие общепринятым медицинским знаниям, прежде чем давать рекомендации.
• Автоматизированная промышленная отчетность : на интеллектуальных заводах языковая модель может генерировать сводный отчет на основе журналов визуального контроля. Сочетая CoVe с моделями компьютерного зрения , языковая модель может запрашивать у системы машинного зрения информацию о том, был ли обнаружен конкретный дефект на сборочной линии, прежде чем окончательно сформировать ежедневный отчет о техническом обслуживании.

Проверка заземления с помощью моделей машинного зрения

Для повышения эффективности этапа «Выполнение» в CoVe разработчики могут запрашивать у авторитетных моделей машинного обучения данные, подтверждающие их работоспособность. Например, используя Ultralytics YOLO26 для обнаружения объектов , модель машинного обучения может проверить физические характеристики изображения. Команды могут эффективно управлять этими наборами данных и развертывать модели машинного обучения с помощью интуитивно понятной платформы Ultralytics .

Следующий пример на Python демонстрирует, как использовать ultralytics Пакет для извлечения проверенного списка объектов, который может служить фактическим источником информации для выполнения этапа проверки в рамках программы LLM.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Интеграция детерминированных результатов высокопроизводительных фреймворков компьютерного зрения, таких как PyTorch , в конвейер CoVe позволяет разработчикам значительно сократить количество ошибок генерации и создавать надежные, заслуживающие доверия многомодальные приложения искусственного интеллекта .