Large Concept Models (LCMs)

大規模コンセプトモデル (LCMs) は、テキストトークンを一度に1つずつ予測するのではなく、より高レベルの意味単位、つまり「コンセプト」として情報を処理および生成するAIモデルです。一般的なLCMでは、コンセプトは文、発話、イベント、またはアクションの意味を数値ベクトルとして表すことがあります。このコンセプトレベルの見方により、モデルは長いシーケンスを整理し、言語間で意味を転移し、内部処理の各ステップを特定の表現に結び付けずに概念について推論できるようになります。

大規模コンセプトモデル (LCMs) の仕組み#

従来の大規模言語モデルは、単語、サブワード、句読点などのトークンにテキストを分割します。次に、モデルは次のトークンを繰り返し予測します。TensorFlowのトークン化ガイドでは、テキストをこのような小さな単位に分割する方法を説明しています。

LCMでは、主要なモデリング処理をより高いレベルに移します。

1. エンコーダーは、文またはその他の意味のある単位を埋め込み、つまりその意味を密に表現した数値表現に変換します。
2. モデルはコンセプト埋め込みのシーケンスを調べ、次のコンセプトの表現を予測します。
3. デコーダーは、予測された表現を自然言語、音声、または別の出力形式に変換します。

この設計では、意味が類似する文は、モデルの潜在空間内の近い領域に位置するはずです。Googleの埋め込みの概要では、こうしたベクトル空間が関係性をどのように捉えるかを説明しており、埋め込み間の類似度の測定に関するガイドでは、コサイン類似度などの手法を扱っています。

文はコンセプトの実用的な代替表現であり、普遍的な定義ではありません。1つの文に複数の考えが含まれる場合もあれば、重要なコンセプトが複数の文にまたがる場合もあります。

LCMsと関連モデルの比較#

LCMsは主に、内部予測の粒度と構造が異なります。

• LCMsと大規模言語モデルの比較: LLMsは通常、トークンを直接予測します。LCMsは、より高レベルの意味表現を予測し、別個のエンコーダーとデコーダーを使用して、それらの表現と言語を結び付けます。
• LCMsと視覚言語モデルの比較: VLMsは視覚情報と言語情報を結び付けます。LCMは視覚的なコンセプト埋め込みを受け取ることもありますが、コンセプトレベルで予測するだけでは、モデルが本質的にマルチモーダルになるわけではありません。
• LCMsとコンセプトボトルネックモデルの比較: コンセプトボトルネックモデルは、「翼がある」のような明示的で、多くの場合は人手でラベル付けされた属性を使用します。LCMのコンセプトは通常、学習されたベクトルであり、名前付き属性に明確に対応するとは限りません。
• LCMsと潜在一貫性モデルの比較: どちらも略称としてLCMを使用しますが、潜在一貫性モデルは生成拡散ワークフローを高速化します。これらは大規模コンセプトモデルとは無関係です。

LCMsはTransformerアーキテクチャやアテンションメカニズムも使用できます。重要な変更点は、シーケンス要素が何を表すかです。PyTorch Transformerドキュメントでは、異なる種類の表現を処理できる一般的なシーケンス処理構造について説明しています。

実世界での利用例#

多言語要約: グローバルなサポートシステムは、スペイン語、日本語、英語で書かれたレポートを共通の意味空間にエンコードし、主要な考えを整理して、英語の要約を生成できます。Metaによる多言語文埋め込み空間の説明で示されているように、共有された多言語表現により、表面的な表現が異なっていても同等の意味を近くに配置できます。これにより、中間段階の推論をすべて翻訳する必要性を軽減できます。

長文の計画と生成: レポートを単語ごとに作成する代わりに、LCMはまず、問題、根拠、分析、推奨事項といったシーケンスをモデル化できます。その後、予測された各コンセプトを1つ以上の文にデコードします。これは、執筆前にアウトラインを計画することに似ており、Microsoftのテキストおよび会話の要約に関するガイダンスで説明されている文書要約や会話要約のタスクにおいて、一貫性を向上させる可能性があります。

コンセプトモデルとコンピュータービジョンの接続#

コンセプト駆動型システムは、LCM型の推論と物体検出を組み合わせることができます。ビジョンモデルが意味のあるシーン要素を特定し、後段のモデルがより大きなシーケンスの一部として、それらの要素について推論します。

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

このYOLO26ワークフローは、「bus」や「person」などのラベルを生成します。これはYOLOをLCMに変えるものではありません。むしろ、コンピュータービジョンがコンセプトレベルの推論システムに構造化された視覚的エビデンスを提供できることを示しています。チームはUltralytics Platformを使用して、ビジュアルデータセットへのアノテーション付与、モデルのトレーニング、デプロイ、これらの認識コンポーネントの監視を行えます。

利点、制限事項、評価#

コンセプトレベルのシーケンスはトークンシーケンスより短くでき、多言語間の知識転移をサポートし、意味計画と表層的な表現を分離できます。ただし、文を1つのベクトルに圧縮すると、名前、数値、否定、空間的な詳細、微妙な限定表現が失われる可能性があります。また、デコーダーのエラーにより、予測されたコンセプトと正確には一致しない流暢な言語が生成されることもあります。

したがって、実用的な評価では、意味的な品質と最終出力の正確性の両方をテストする必要があります。チームは、多言語間の一貫性、事実の保持、長いコンテキストでの一貫性、レイテンシ、曖昧な入力に対する挙動を測定する必要があります。影響の大きいデプロイでは、用途に応じた人によるレビューと監視を含め、NIST AIリスクマネジメントフレームワークなどの体系的なガバナンスプロセスにも従う必要があります。