Large Concept Models (LCMs)

Large Concept Models (LCMs) は、1回に1つのテキストトークンを予測するのではなく、情報をより高次のセマンティック単位、すなわち「コンセプト」として処理し生成するAIモデルです。一般的なLCMでは、コンセプトは文、発話、イベント、またはアクションの意味を数値ベクトルとして表現します。このコンセプトレベルのビューにより、モデルは長いシーケンスを整理し、言語間で意味を伝達し、内部の各ステップを特定の言葉遣いに縛られることなくアイデアについて推論することができます。

Large Concept Models の仕組み#

従来の大規模言語モデルは、テキストを単語、サブワード、句読点などのトークンに分割します。次に、モデルは次のトークンを繰り返し予測します。TensorFlow のトークン化ガイドでは、テキストがどのようにこれらの小さな単位に分割されるかを説明しています。

LCM では、メインのモデリングステップがより高次のレベルに移行します。

1. エンコーダーは、文やその他の意味を持つ単位を、その意味を高密度に数値化した埋め込み（エンベディング）に変換します。
2. モデルはコンセプト埋め込みのシーケンスを調べ、次のコンセプトの表現を予測します。
3. デコーダーは、予測された表現を自然言語、音声、またはその他の出力形式に変換します。

この設計では、類似した意味を持つ文は、モデルの潜在空間内の近い領域を占めることになります。Google の埋め込みの概要ではこれらのベクトル空間が関係性を捉える仕組みを解説しており、埋め込み間の類似度測定に関するガイドではコサイン類似度などの手法を取り上げています。

文はコンセプトの実際的な近似値であり、普遍的な定義ではありません。1つの文に複数のアイデアが含まれていることもあれば、重要なコンセプトが複数の文にまたがっていることもあります。

関連モデルと LCM の比較#

LCM は、内部予測の粒度と構造の面で主に異なります。

• LCM vs. 大規模言語モデル: LLM は通常、トークンを直接予測します。LCM は高次のセマンティック表現を予測し、それらの表現と言語を接続するために独立したエンコーダーとデコーダーに依存します。
• LCM vs. 視覚言語モデル: VLM は視覚情報と言語情報を接続します。LCM は視覚的なコンセプト埋め込みを受け入れる場合がありますが、コンセプトレベルの予測それ自体によってモデルが本質的にマルチモーダルになるわけではありません。
• LCM vs. コンセプトボトルネックモデル: コンセプトボトルネックモデルは、「羽がある」といった明示的で多くの場合人間がラベル付けした属性を使用します。LCM のコンセプトは一般に学習されたベクトルであり、名前付きの属性にきれいにマッピングされるとは限りません。
• LCM vs. 潜在整合モデル（Latent Consistency Models）: どちらも LCM という略称を使用しますが、潜在整合モデルは生成拡散ワークフローを高速化するものです。これらは Large Concept Models とは無関係です。

LCM でもTransformer アーキテクチャやアテンション機構を使用できます。重要な変更点は、シーケンス要素が何を表すかという点です。PyTorch の Transformer ドキュメントでは、さまざまな表現タイプで動作可能な一般的なシーケンス処理構造について説明しています。

実社会での応用#

多言語要約: グローバルサポートシステムは、スペイン語、日本語、英語で書かれたレポートを共通のセマンティック空間にエンコードし、その主要なアイデアを整理し、英語の要約を生成することができます。Meta による多言語文埋め込み空間の解説で示されているように、共有された多言語表現により、表面上の言葉遣いが異なっていても、同等の意味を持つものを近づけて配置することができます。これにより、すべての推論の合間ステップを翻訳することへの依存を軽減できます。

長文のプランニングと生成: LCM は、レポートを単語ごとにドラフト作成する代わりに、問題、証拠、分析、推奨事項といったシーケンスを最初にモデル化することができます。次に、予測された各コンセプトが1つまたは複数の文にデコードされます。これは執筆前にアウトラインを計画する作業に似ており、Microsoft のテキストおよび会話の要約ガイダンスで説明されているような、文書や会話の要約における一貫性を向上させることができます。

コンセプトモデルとコンピュータビジョンの接続#

コンセプト駆動型のシステムは、LCM スタイルの推論と物体検出を組み合わせることができます。ビジョンモデルが意味のあるシーン要素を特定し、下流のモデルがより大きなシーケンスの一部としてそれらの要素について推論を行います。

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

この YOLO26 ワークフローは、「バス」や「人」などのラベルを生成します。これは YOLO を LCM に変えるものではなく、むしろコンピュータビジョンが構造化された視覚的証拠をコンセプトレベルの推論システムに提供できることを示しています。チームは Ultralytics Platform を使用して、視覚データセットのアノテーション、モデルのトレーニング、デプロイ、およびこれら認識コンポーネントのモニタリングを行うことができます。

利点、制限事項、および評価#

コンセプトレベルのシーケンスはトークンシーケンスよりも短くすることができ、クロス言語での知識転移をサポートし、セマンティックなプランニングを表面的な言葉遣いから切り離すことができます。ただし、1つの文を1つのベクトルに圧縮すると、名前、数値、否定、空間的詳細、または微妙な修飾語が失われる可能性があります。また、デコーダーのエラーにより、予測されたコンセプトと正確に一致しない流暢な言語が生成されることもあります。

したがって、実際の評価では、セマンティック品質と最終的な出力精度の両方をテストする必要があります。チームは、多言語の一貫性、事実の保持、長期コンテキストの一貫性、レイテンシ、および曖昧な入力に対する挙動を測定する必要があります。また、影響度の大きいデプロイでは、アプリケーションに応じた人間のレビューとモニタリングを伴う、NIST AI Risk Management Framework などの構造化されたガバナンスプロセスに従う必要があります。