Chain of Verification (CoVe)

Chain of Verification (CoVe) — это передовой метод prompt engineering, предназначенный для уменьшения неточностей и фактических ошибок в ответах Large Language Models (LLMs). По мере того как системы искусственного интеллекта становятся сложнее, их склонность уверенно генерировать ложную информацию — явление, известное как LLM hallucination — остается серьезной проблемой. CoVe решает её, заставляя модель систематически проверять факты в своих собственных первоначальных ответах, прежде чем представить окончательный ответ пользователю. Этот механизм самокоррекции значительно повышает надежность приложений generative AI в различных отраслях.

Link to this sectionКак работает процесс проверки#

Методология CoVe разделяет процесс генерации на четыре четких последовательных этапа. Этот структурированный подход отражает рабочие процессы проверки фактов человеком и активно исследуется ведущими AI-организациями для улучшения AI safety и согласованности.

• Составление первоначального ответа: Модель генерирует базовый ответ на запрос пользователя. Этот черновик может содержать непроверенные или галлюцинированные утверждения.
• Планирование проверочных вопросов: Модель анализирует собственный черновик и составляет список конкретных, целенаправленных вопросов, предназначенных для проверки фактических утверждений, сделанных в исходном тексте.
• Выполнение независимых проверок: Модель отвечает на проверочные вопросы независимо, не опираясь на контекст исходного черновика. Это предотвращает простое подтверждение моделью своих собственных предубеждений или предыдущих ошибок.
• Генерация окончательного проверенного ответа: Используя заново подтвержденные факты, модель пересматривает исходный черновик, удаляя неточности и представляя уточненный, достоверный ответ.

Link to this sectionОтличие CoVe от схожих методов#

Хотя CoVe часто сравнивают с Chain-of-Thought Prompting, они служат разным целям. Chain-of-Thought побуждает модель «показать ход своих мыслей», разбивая сложные логические рассуждения на пошаговые компоненты для решения задачи. Напротив, Chain of Verification специально нацелен на фактическую точность путем аудита и исправления утверждений после создания черновика. Кроме того, CoVe можно сочетать с конвейерами Retrieval-Augmented Generation (RAG), где этап проверки извлекает данные из внешней vector database, а не полагается исключительно на внутренние веса модели.

Link to this sectionРеальные приложения#

CoVe очень полезен в областях, где критически важна фактическая точность. Интегрируя этот цикл самопроверки, разработчики могут доверять системам artificial intelligence при выполнении задач с более высокими ставками.

• Медицинские и медицинские помощники: Когда ИИ обобщает симптомы пациента или медицинскую литературу, CoVe гарантирует, что система сверяет лекарственные взаимодействия, дозировки и критерии диагностики с установленными медицинскими знаниями перед предоставлением рекомендаций.
• Автоматизированная промышленная отчетность: На умных фабриках LLM может создать сводный отчет на основе журналов визуального контроля. Объединив CoVe с моделями computer vision, языковая модель может обратиться к системе технического зрения, чтобы проверить, был ли на самом деле обнаружен определенный дефект на сборочной линии, прежде чем завершить ежедневный отчет о техническом обслуживании.

Link to this sectionОбоснование проверки с помощью моделей компьютерного зрения#

Чтобы улучшить этап «Выполнение» в CoVe, разработчики могут запрашивать данные у авторитетных моделей machine learning. Например, используя Ultralytics YOLO26 для object detection, LLM может проверить физические утверждения об изображении. Команды могут эффективно управлять этими наборами данных и развертывать такие модели компьютерного зрения, используя интуитивно понятную Ultralytics Platform.

Следующий пример на Python демонстрирует, как использовать пакет ultralytics для извлечения проверенного списка объектов, который может служить источником фактического обоснования для LLM, выполняющей этап Chain of Verification.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Интегрируя детерминированные результаты высокопроизводительных фреймворков компьютерного зрения, таких как PyTorch, в конвейер CoVe, разработчики могут значительно сократить количество генеративных ошибок и создавать надежные, заслуживающие доверия приложения multimodal AI.