Large Concept Models (LCMs)

Большие концептуальные модели (LCMs) — это модели искусственного интеллекта, которые обрабатывают и генерируют информацию в виде семантических единиц более высокого уровня, или «концепций», а не предсказывают по одному текстовому токену за раз. В типичной LCM концепция может представлять смысл предложения, высказывания, события или действия в виде числового вектора. Такой взгляд на концепции помогает модели организовывать длинные последовательности, переносить смысл между языками и рассуждать об идеях, не связывая каждый внутренний шаг с конкретными формулировками.

Как работают большие концептуальные модели#

Обычная крупная языковая модель разбивает текст на токены, например слова, субслова или знаки пунктуации. Затем модель многократно предсказывает следующий токен. В руководстве по токенизации в TensorFlow показано, как текст можно разделить на такие небольшие единицы.

LCM переносит основной этап моделирования на более высокий уровень:

1. Кодировщик преобразует предложение или другую осмысленную единицу в эмбеддинг — плотное числовое представление её смысла.
2. Модель анализирует последовательность эмбеддингов концепций и предсказывает представление следующей концепции.
3. Декодировщик преобразует предсказанное представление в естественный язык, речь или другую форму вывода.

В такой архитектуре предложения с близким смыслом должны занимать соседние области латентного пространства модели. В обзоре эмбеддингов Google объясняется, как эти векторные пространства отражают взаимосвязи, а в руководстве по измерению сходства между эмбеддингами рассматриваются такие методы, как косинусное сходство.

Предложение — это практический заменитель концепции, а не универсальное определение. Одно предложение может содержать несколько идей, а важная концепция — охватывать несколько предложений.

Сравнение LCM с родственными моделями#

LCM в первую очередь отличаются уровнем детализации и структурой внутренних предсказаний.

• LCM и крупные языковые модели: LLM обычно напрямую предсказывают токены. LCM предсказывают семантические представления более высокого уровня и используют отдельные кодировщики и декодировщики, чтобы связывать эти представления с языком.
• LCM и визуально-языковые модели: VLM связывают визуальную и языковую информацию. LCM может принимать эмбеддинги визуальных концепций, но предсказание на уровне концепций само по себе не делает модель мультимодальной.
• LCM и модели с концептуальным узким местом: Модели с концептуальным узким местом используют явные, часто размеченные человеком атрибуты, например «имеет крылья». Концепции LCM обычно представляют собой обученные векторы и могут плохо соответствовать именованным атрибутам.
• LCM и модели латентной согласованности: Обе разновидности используют сокращение LCM, но модели латентной согласованности ускоряют рабочие процессы генеративной диффузии. Они не связаны с большими концептуальными моделями.

LCM по-прежнему может использовать архитектуру Transformer и механизмы внимания; ключевое изменение заключается в том, что представляют собой элементы последовательности. В документации PyTorch по Transformer описывается общая структура обработки последовательностей, которая может работать с разными типами представлений.

Практические применения#

Многоязычное суммирование: Глобальная система поддержки может кодировать отчёты на испанском, японском и английском языках в общее семантическое пространство, структурировать их основные идеи и генерировать резюме на английском языке. Общие многоязычные представления могут сближать эквивалентные смыслы, даже если их поверхностные формулировки различаются, как показано в объяснении Meta о пространствах многоязычных эмбеддингов предложений. Это может снизить зависимость от перевода каждого промежуточного шага рассуждения.

Планирование и генерация длинных текстов: Вместо составления отчёта слово за словом LCM сначала может смоделировать такую последовательность, как проблема, доказательства, анализ и рекомендация. Затем каждая предсказанная концепция декодируется в одно или несколько предложений. Это похоже на планирование структуры перед написанием и может улучшить связность при суммировании документов или разговоров — задачах, описанных в руководстве Microsoft по суммированию текста и разговоров.

Связь концептуальных моделей с компьютерным зрением#

Система, ориентированная на концепции, может объединять рассуждения в стиле LCM с обнаружением объектов. Модель компьютерного зрения выявляет значимые элементы сцены, а последующая модель рассуждает об этих элементах как о части более крупной последовательности.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Этот рабочий процесс с YOLO26 создаёт такие метки, как «автобус» и «человек». Он не превращает YOLO в LCM, а показывает, как компьютерное зрение может предоставлять структурированные визуальные данные системе рассуждений на уровне концепций. Команды могут использовать Ultralytics Platform, чтобы аннотировать визуальные наборы данных, обучать и развёртывать модели, а также отслеживать работу этих компонентов восприятия.

Преимущества, ограничения и оценка#

Последовательности на уровне концепций могут быть короче последовательностей токенов, поддерживать перенос знаний между языками и отделять семантическое планирование от поверхностных формулировок. Однако сжатие предложения в один вектор может привести к потере имён, чисел, отрицаний, пространственных деталей или тонких уточнений. Ошибки декодировщика также могут порождать беглый, но неточно соответствующий предсказанной концепции текст.

Поэтому практическая оценка должна проверять как семантическое качество, так и точность итогового вывода. Командам следует измерять многоязычную согласованность, сохранность фактов, связность при работе с длинным контекстом, задержку и поведение на неоднозначных входных данных. При развёртывании систем с высоким уровнем воздействия также следует придерживаться структурированного процесса управления, например Системы управления рисками ИИ NIST, с проверкой человеком и мониторингом, соответствующими конкретному применению.