Large Concept Models (LCMs)

Модели больших концептов (LCM) — это ИИ-модели, которые обрабатывают и генерируют информацию в виде высокоуровневых семантических единиц или «концептов», а не предсказывают один текстовый токен за раз. В типичной LCM концепт может представлять смысл предложения, высказывания, события или действия в виде числового вектора. Такой взгляд на уровне концептов помогает модели упорядочивать длинные последовательности, переносить смысл между языками и рассуждать об идеях, не привязывая каждый внутренний шаг к конкретной формулировке.

Как работают модели больших концептов#

Обычная большая языковая модель разбивает текст на токены, такие как слова, подслова или знаки препинания. Затем модель многократно предсказывает следующий токен. Руководство по токенизации TensorFlow иллюстрирует, как текст может быть разделен на эти мелкие единицы.

LCM переносит основной этап моделирования на более высокий уровень:

1. Кодер преобразует предложение или другую значимую единицу в эмбеддинг — плотное числовое представление его смысла.
2. Модель анализирует последовательность концептуальных эмбеддингов и предсказывает представление следующего концепта.
3. Декодер преобразует предсказанное представление в естественный язык, речь или другую форму вывода.

При таком подходе предложения с похожими значениями должны занимать близлежащие области латентного пространства модели. В обзоре эмбеддингов Google объясняется, как эти векторные пространства отражают взаимосвязи, а его руководство по измерению сходства между эмбеддингами охватывает такие методы, как косинусное сходство.

Предложение — это практический прокси для концепта, а не универсальное определение. Одно предложение может содержать несколько идей, в то время как важный концепт может охватывать несколько предложений.

Сравнение LCM со смежными моделями#

LCM различаются в первую очередь гранулярностью и структурой своих внутренних предсказаний.

• LCM против больших языковых моделей: Языковые модели обычно предсказывают токены напрямую. LCM предсказывают высокоуровневые семантические представления и полагаются на отдельные кодеры и декодеры для связывания этих представлений с языком.
• LCM против зрительно-языковых моделей: Зрительно-языковые модели связывают визуальную и языковую информацию. LCM может принимать визуальные концептуальные эмбеддинги, но предсказание на уровне концептов не делает модель мультимодальной по своей сути.
• LCM против моделей с концептуальным «бутылочным горлышком»: Модели с концептуальным «бутылочным горлышком» используют явные, часто размеченные людьми атрибуты, такие как «имеет крылья». Концепты LCM, как правило, представляют собой выученные векторы и могут не сопоставляться напрямую с поименованными атрибутами.
• LCM против моделей латентной согласованности: Обе используют аббревиатуру LCM, но модели латентной согласованности ускоряют рабочие процессы генеративной диффузии. Они не связаны с моделями больших концептов.

LCM по-прежнему могут использовать архитектуру Transformer и механизмы внимания; ключевое изменение заключается в том, что представляют собой элементы последовательности. Документация PyTorch по Transformer описывает общую структуру обработки последовательностей, которая может работать с различными типами представлений.

Реальные приложения#

Многоязычное суммирование: Глобальная система поддержки может кодировать отчеты, написанные на испанском, японском и английском языках, в общее семантическое пространство, организовывать их основные идеи и генерировать резюме на английском языке. Общие многоязычные представления могут располагать эквивалентные значения близко друг к другу, даже когда их поверхностные формулировки различаются, как продемонстрировано в объяснении Meta пространств многоязычных текстовых эмбеддингов. Это позволяет уменьшить зависимость от перевода каждого промежуточного шага рассуждения.

Долгосрочное планирование и генерация: Вместо того чтобы составлять отчет слово за словом, LCM может сначала смоделировать последовательность, такую как проблема, доказательства, анализ и рекомендация. Каждый предсказанный концепт затем декодируется в одно или несколько предложений. Это напоминает составление плана перед письмом и может повысить связность при суммировании документов или бесед — задачах, описанных в руководстве Microsoft по суммированию текста и бесед.

Связь моделей концептов с компьютерным зрением#

Система на базе концептов может объединять рассуждения в стиле LCM с обнаружением объектов. Модель компьютерного зрения определяет значимые элементы сцены, а последующая модель рассуждает об этих элементах как о части более крупной последовательности.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Этот рабочий процесс YOLO26 создает такие метки, как «автобус» и «человек». Это не превращает YOLO в LCM; скорее, это показывает, как компьютерное зрение может предоставлять структурированные визуальные доказательства системе рассуждений на уровне концептов. Команды могут использовать Ultralytics Platform для разметки визуальных наборов данных, обучения моделей, их развертывания и мониторинга этих компонентов восприятия.

Преимущества, ограничения и оценка#

Последовательности на уровне концептов могут быть короче последовательностей токенов, поддерживать месюзыковой перенос знаний и отделять семантическое планирование от поверхностной формулировки. Однако сжатие предложения в один вектор может привести к потере имен, чисел, отрицания, пространственных деталей или тонких уточнений. Ошибки декодера также могут порождать беглый язык, который неточно соответствует предсказанному концепту.

Поэтому практическая оценка должна проверять как семантическое качество, так и точность конечного результата. Команды должны измерять многоязычную согласованность, сохранение фактов, связность в длинном контексте, задержку (latency) и поведение при неоднозначных входных данных. Развертывания с высоким уровнем влияния также должны следовать структурированному процессу управления, такому как структура управления рисками ИИ NIST, с проверкой людьми и мониторингом, соответствующими приложению.