Лицензия YOLO
Назад к глоссарию Ultralytics

Semantic Entropy

Семантическая энтропия измеряет неопределённость LLM относительно смысла сгенерированных ответов, а не их формулировок, и выявляет вероятные выдумки.

Семантическая энтропия измеряет, насколько неопределён в значении своего ответа большой языковой модель (LLM). Для её вычисления генерируют несколько ответов на один вопрос, группируют ответы с одинаковым смыслом и рассчитывают энтропию по группам. Если в десяти примерах один ответ сформулирован десятью способами, семантическая энтропия равна нулю; если ответы различаются по смыслу, энтропия высока и модель, вероятно, угадывает. Лоренц Кун, Ярин Гал и Себастьян Фаркуар из Оксфордского университета представили этот метод на ICLR 2023 в статье Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation, а в статье 2024 года в Nature Фаркуар, Янник Коссен, Кун и Гал применили его для обнаружения галлюцинаций.

Статья в Nature посвящена одному виду галлюцинаций, названному конфабуляцией: это утверждения, которые одновременно неверны и произвольны, то есть меняются в зависимости от случайного начального значения, используемого при генерации. Обычная энтропия по сгенерированным токенам не позволяет выделить этот тип ошибок: «Париж», «Это Париж» и «Столица — Париж» — разные последовательности токенов с одинаковым значением, поэтому даже модель, знающая правильный ответ, выглядит неуверенной.

Как вычисляется семантическая энтропия#

  1. Сгенерируй примерно 10 ответов на один и тот же запрос, установив ненулевую температуру генерации.
  2. Сгруппируй ответы по двустороннему следованию: два ответа имеют одинаковый смысл, если каждый из них подразумевает другой. Это определяет модель логического вывода на естественном языке, например DeBERTa-large-MNLI, или универсальная LLM, которой в основных экспериментах для Nature была GPT-3.5. Этот этап относится к пониманию естественного языка (NLU).
  3. Оцени вероятность каждой группы, суммируя вероятности последовательностей для входящих в неё ответов. Если закрытый API не раскрывает вероятности токенов, оцени её по доле ответов в группе. Этот вариант называется дискретной семантической энтропией.
  4. Вычисли энтропию по вероятностям групп.

Для вычисления дискретной семантической энтропии нужны только ответы и их группы. В примере ниже она сравнивается с наивной энтропией по исходным строкам для двух вопросов; группы назначены так, как это сделала бы модель логического вывода:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

В обоих случаях из пяти примеров получаются четыре разные строки, поэтому наивная энтропия равна 1,92 бита. Семантическая энтропия позволяет различить эти случаи: 0,00 бита для столицы, поскольку каждый пример означает Канберру, и 1,37 бита для года основания, где в примерах встречаются 1913 год — правильный ответ, 1908 год — год выбора места, и 1927 год — год переезда туда парламента.

Результаты и ограничения#

В 30 комбинациях наборов данных для ответов на вопросы (TriviaQA, SQuAD, BioASQ, NQ-Open и SVAMP) и моделей (LLaMA 2 Chat, Falcon Instruct и Mistral Instruct) семантическая энтропия отличала неверные ответы от верных со средней площадью под ROC-кривой (AUROC) 0,790, тогда как у наивной энтропии этот показатель составлял 0,691, а у P(True) — 0,698. P(True) спрашивает модель, верен ли её собственный ответ. В биографиях, которые GPT-4 создала о 21 человеке и которые разделили на 150 фактических утверждений, 45 из которых были неверными, дискретная семантическая энтропия также превзошла оба базовых метода при выявлении ложных утверждений.

У метода есть очевидные ограничения:

  • Стоимость: Примерно 10 генераций и попарные проверки следования для каждого вопроса. Зонды семантической энтропии, представленные Коссеном и его коллегами в 2024 году, сокращают это число до одной генерации, предсказывая семантическую энтропию по скрытым состояниям модели.
  • Стабильные ошибки: Если модель усвоила заблуждение из обучающих данных, она будет каждый раз давать один и тот же неправильный ответ, поэтому семантическая энтропия останется низкой. Ошибку выявит только сверка с внешними источниками, например в рамках генерации с дополнением поиском (RAG).
  • Длинные ответы: Перед сравнением смысла абзацы сначала разбивают на отдельные утверждения, как в эксперименте с биографиями.

Семантическая энтропия — один из инструментов количественной оценки неопределённости текста. Перплексия показывает, насколько предсказуем для модели фиксированный текст, самосогласованность выбирает наиболее частый ответ среди сгенерированных ответов с цепочкой рассуждений, а конформное предсказание преобразует подобные оценки в множества с гарантированным покрытием. Такие бенчмарки, как Humanity's Last Exam, оценивают тот же разрыв с другой стороны, сравнивая заявленную моделями уверенность с частотой правильных ответов.

Эта же проверка применима к моделям для работы с изображениями и текстом (VLM), которые описывают результаты детектора. Интерфейс LLM Ultralytics отправляет изображение и вопрос любой модели, совместимой с OpenAI, и передаёт аргументы запроса без изменений. Поэтому конвейер может несколько раз задать один и тот же вопрос об изображении, на котором YOLO26 обнаружила интересующий объект, а затем сгруппировать полученные описания.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения