Semantic Entropy

Семантическая энтропия измеряет степень неуверенности генеративной модели ИИ в смысле ее ответа. Вместо того чтобы рассматривать каждое изменение формулировки как отдельный результат, она группирует семантически эквивалентные ответы и измеряет, насколько широко вероятность распределена между получившимися значениями. Если повторяющиеся ответы выражают одну и ту же последовательную идею, семантическая энтропия низкая. Если они поддерживают несколько противоречащих друг другу идей, она высокая, что указывает на то, что модель может не знать, какой ответ является правильным.

Эта метрика особенно актуальна для большой языковой модели (LLM) или другой системы, создающей текст в свободном стиле, где один и тот же смысл может быть выражен с помощью множества разных последовательностей слов.

Как работает семантическая энтропия#

Энтропия — это общая мера неопределенности в вероятностном распределении: она низкая, когда вероятность концентрируется на одном исходе, и высокая, когда правдоподобными остаются несколько исходов. Определение энтропии по версии NIST задает базовую концепцию теории информации. (csrc.nist.gov)

Рабочий процесс семантической энтропии обычно состоит из четырех шагов:

1. Сгенерируй несколько ответов на один и тот же ввод с помощью семплирования.
2. Сгруппируй ответы, передающие одинаковый смысл.
3. Оцени вероятность каждого смысла на основе его частотности или вероятности генерации.
4. Вычисли энтропию по этим семантическим группам.

Например, «Париж», «Ответ — Париж» и «Столица Франции — Париж» относятся к одной группе смыслов. «Лион» относится к другой. Лексическая энтропия может преувеличивать неопределенность, рассматривая все четыре строки как разные, в то время как семантическая энтропия признает, что первые три согласны друг с другом.

На этапе группировки могут использоваться экспертные оценки, текстовые вложения или числовые эмбеддинги в сочетании с мерой сходства, такой как косинусное сходство в scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

В этом упрощенном примере используется документированная функция энтропии SciPy. В продакшн-системе семантическую группировку необходимо тщательно проверять, поскольку неверная группировка может исказить итоговую оценку.

Связанные концепции и ключевые различия#

Семантическая энтропия относится к более широкой области количественной оценки неопределенности, но она имеет дело с неопределенностью смыслов, а не только с метками, токенами или числовыми предсказаниями.

• Энтропия токенов измеряет неопределенность в отношении следующего токена или полной последовательности токенов. Она может присваивать высокую неопределенность безобидным различиям в формулировках.
• Самосогласованность проверяет, дают ли повторяющиеся генерации совместимые ответы. Семантическая энтропия развивает эту идею, представляя относительное распределение различных смыслов.
• Уверенность обычно представляет собой оценку, привязанную к одному предсказанию. Семантическая энтропия вместо этого сравнивает несколько возможных генераций. Ни то, ни другое нельзя автоматически интерпретировать как откалиброванную вероятность; калибровку необходимо оценивать по наблюдаемым исходам. (scikit-learn.org)
• Галлюцинации в LLMs — это ошибка, при которой сгенерированный контент является ложным, неподтвержденным или вводящим в заблуждение. Семантическая энтропия служит сигналом предупреждения, а не самой ошибкой. Высокая энтропия может выявить противоречащие друг другу ответы, в то время как низкая энтропия не доказывает правильность, поскольку модель может последовательно повторять одно и то же ложное утверждение. Таким образом, галлюцинации могут оставаться уверенными и внутренне согласованными. (openai.com)
• Семантическая сегментация присваивает класс каждому пикселю изображения. Несмотря на то, что они разделяют слово «семантический», это задача компьютерного зрения, не имеющая отношения к энтропии сгенерированных смыслов.

Реальные приложения#

Ассистенты вопросно-ответной системы: Ассистент службы поддержки может сделать выборку нескольких ответов перед тем, как дать ответ. Если выходы расходятся во мнениях относительно того, покрывает ли гарантия случайное повреждение, высокая семантическая энтропия может инициировать поиск документов, уточнение или проверку человеком. В сочетании с дополненной поиском генерацией (RAG) это снижает вероятность того, что неподтвержденное утверждение о политике дойдет до клиента.

Поддержка принятия решений на основе зрения и языка: Модель «зрение-язык» (VLM) может описать промышленное изображение как демонстрирующее «коррозию поверхности», «остатки масла» или «нормальное изменение цвета» при повторяющихся генерациях. Высокая семантическая энтропия указывает на существенное несогласие, которое может привести к неверному решению по обслуживанию. Система может направить изображение инспектору, вместо того чтобы рассматривать одно беглое описание как окончательное.

Практическое использование и ограничения#

Семантическую энтропию следует рассматривать как один из компонентов конвейера оценки на основе рисков. Командам следует проверять, соответствуют ли более высокие оценки большему количеству ошибок в их домене, выбирать пороговые значения в соответствии с последствиями ошибок и сохранять путь для отказа от ответа или проверки человеком. Фреймворк управления рисками ИИ NIST Core подчеркивает важность измерения неопределенности и связи результатов оценки с постоянным мониторингом рисков. (airc.nist.gov)

Она наиболее применима для открытых сгенерированных ответов. Структурированные предсказания компьютерного зрения требуют других методов оценки: режим валидации Ultralytics измеряет производительность на размеченных данных, в то время как семантическая энтропия может оценивать любые текстовые пояснения в свободном стиле, добавляемые мультимодальным компонентом.

Продакшн-командам также следует отслеживать распределения оценок, категории сбоев, задержку и изменения во входных данных. Рекомендации Google по мониторингу продакшн систем ML рекомендуют вести логи и настраивать оповещения для дрейфа предсказаний и ухудшения качества. Мониторинг развертывания на платформе Ultralytics может поддержать более широкий рабочий процесс аннотирования, обучения, развертывания и мониторинга вокруг моделей видения. Семантическая энтропия может выявлять неопределенные случаи в рамках этого рабочего процесса, но фактическая верификация и репрезентативное тестирование остаются критически важными.