Chain of Verification (CoVe)

Цепочка проверки (CoVe) — это продвинутая техника проектирования промптов, предназначенная для уменьшения неточностей и фактических ошибок в результатах работы больших языковых моделей (LLMs). По мере усложнения систем искусственного интеллекта их склонность уверенно генерировать ложную информацию — явление, известное как галлюцинации LLM, — остается серьезной проблемой. CoVe решает ее, заставляя модель систематически проверять факты в своих первоначальных ответах перед тем, как предоставить пользователю окончательный ответ. Этот механизм самокоррекции значительно повышает надежность приложений генеративного ИИ в различных отраслях.

Как работает процесс проверки#

Методология CoVe разбивает процесс генерации на четыре отдельных последовательных этапа. Такой структурированный подход повторяет рабочие процессы проверки фактов, используемые людьми, и активно исследуется ведущими организациями в области ИИ для повышения безопасности ИИ и согласованности моделей с заданными целями.

• Составление первоначального ответа: Модель генерирует базовый ответ на запрос пользователя. Этот черновик может содержать непроверенные или выдуманные утверждения.
• Планирование вопросов для проверки: Модель анализирует собственный черновик и составляет список конкретных, целевых вопросов, предназначенных для проверки фактических утверждений, содержащихся в исходном тексте.
• Проведение независимых проверок: Модель независимо отвечает на вопросы для проверки, не опираясь на контекст исходного черновика. Это не позволяет модели просто подтверждать собственные предубеждения или предыдущие ошибки.
• Генерация окончательного проверенного результата: Используя недавно проверенные факты, модель редактирует первоначальный черновик, устраняя неточности и представляя уточненный правдивый ответ.

Отличия CoVe от схожих техник#

Хотя CoVe часто сравнивают с промптингом с цепочкой рассуждений, эти методы служат разным целям. Цепочка рассуждений побуждает модель «показывать ход рассуждений», разбивая сложные логические рассуждения на пошаговые компоненты для решения задачи. В отличие от этого, цепочка проверки нацелена именно на фактическую точность: после создания черновика она проверяет и редактирует утверждения. Кроме того, CoVe можно сочетать с конвейерами генерации с дополнением поиска (RAG), где на этапе проверки достоверные данные извлекаются из внешней векторной базы данных, а не берутся исключительно из внутренних весов модели.

Практические применения#

CoVe особенно полезна в областях, где фактическая точность имеет критическое значение. Интегрируя этот цикл самопроверки, разработчики могут с большей уверенностью поручать системам искусственного интеллекта выполнение задач с высокими рисками.

• Медицинские ассистенты и помощники в сфере здравоохранения: Когда ИИ обобщает симптомы пациента или медицинскую литературу, CoVe гарантирует, что система проверит взаимодействие лекарств, дозировки и диагностические критерии по авторитетным медицинским источникам, прежде чем выдавать рекомендации.
• Автоматизированная промышленная отчетность: На умных производствах LLM может создавать сводный отчет на основе журналов визуального контроля. Объединив CoVe с моделями компьютерного зрения, языковая модель может запросить систему технического зрения, чтобы проверить, действительно ли конкретный дефект был обнаружен на сборочной линии, прежде чем завершить ежедневный отчет о техническом обслуживании.

Проверка достоверности с помощью моделей технического зрения#

Чтобы усовершенствовать этап «Выполнение» в CoVe, разработчики могут запрашивать достоверные данные у авторитетных моделей машинного обучения. Например, используя Ultralytics YOLO26 для обнаружения объектов, LLM может проверять физические утверждения об изображении. Команды могут эффективно управлять такими наборами данных и развертывать эти модели технического зрения с помощью интуитивно понятной Ultralytics Platform.

В следующем примере на Python показано, как использовать пакет ultralytics для извлечения проверенного списка объектов, который может служить источником фактической опоры для LLM при выполнении этапа цепочки проверки.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Интегрируя детерминированные результаты высокопроизводительных фреймворков технического зрения, таких как PyTorch, в конвейер CoVe, разработчики могут значительно сократить количество генеративных ошибок и создавать надежные, заслуживающие доверия приложения мультимодального ИИ.