Semantic Chunking

セマンティックチャンク化は、機械学習 (ML)や人工知能 (AI)で使用される高度なデータ前処理技術であり、大規模なデータセットを意味のある小さなセグメントに分割します。AIの文脈で「チャンク化とは何か」と疑問に思う場合、それはドキュメント、動画、音声などの長い非構造化データのシーケンスを、扱いやすい部分またはセグメントに分割するプロセスを指します。標準的なチャンク化の定義では、一定の文字数や時間間隔に基づいてデータを分割することが一般的です。しかし、「意味によるチャンク化」、つまりセマンティックチャンク化では、さらに一歩進んでコンテキストを分析し、関連する情報をまとめます。これにより、中心となるメッセージが維持され、恣意的な分割方法で頻繁に発生するコンテキストの損失を防止できます。

セマンティックチャンク化の仕組み#

セマンティックチャンク化の方法を理解するには、最新の生成パイプラインにおける役割に注目するとよいでしょう。では、RAGにおけるセマンティックチャンク化とは何でしょうか。ベクトルデータベース用のデータを準備する際、埋め込みモデルは隣接する文や視覚要素を分析し、それらの関係を算出します。コサイン類似度などの統計的指標を使用して、システムはトピックが変化する箇所（ブレークポイントと呼ばれることが多い）を特定し、その位置でデータを分割します。これにより、クエリ中に大規模言語モデル (LLM)が取得するデータチャンクに、完全で一貫した内容が含まれるようになり、生成される応答の精度が大幅に向上します。RAPTORと適応型グラフクラスタリングに関する最近の研究では、このコンテキスト認識型の戦略が固定サイズの分割を上回ることが示されています。

コンピュータビジョンにおけるセマンティックチャンク化#

従来は自然言語処理 (NLP)と関連付けられていましたが、セマンティックチャンク化はコンピュータビジョンやマルチモーダルAIにも深く関係しています。たとえばドキュメント分析では、視覚的なセマンティックチャンクにグラフとその説明キャプションを含め、厳密なページ境界に基づいて分離しないようにできます。高度なクラウドプロバイダーやAPIツールでは、こうした複雑なデータ型を管理するための専用のセマンティックチャンク化設定が提供されています。

開発者はUltralytics YOLO26モデルを活用して、これらの視覚的なチャンクの抽出を自動化できます。画像や動画内のオブジェクトを検出することで、シーンの中核となる内容を表す、意味の局所的なセグメントを作成できます。

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual semantics
model = YOLO("yolo26n.pt")

# Run inference to detect objects within a visual scene
results = model("scene.jpg")

# Group detected object classes to form a semantic visual chunk
visual_chunk = [model.names[int(cls)] for cls in results[0].boxes.cls]
print(f"Semantic visual chunk elements: {visual_chunk}")

実世界での利用例#

セマンティックチャンク化は、さまざまなAIワークフローにおける重要な課題を解決します。具体例を2つ紹介します。

• ドキュメントAI向けマルチモーダルRAG: 財務報告書などの複雑なPDFを解析する際、ビジュアルチャンク化により、表を囲むバウンディングボックスを対応するテキスト要約とグループ化できます。これにより、AIアシスタントは数値のコンテキストを失うことなく、非常に具体的な質問にも正確に回答できます。
• 動画の自動要約: セキュリティや監視の分野では、連続した動画ストリームを、立入禁止区域への人物の侵入など、検出されたイベントに基づいてセマンティックチャンク化します。オブジェクトトラッキングを使用することで、システムはランダムな10秒間の映像を返すのではなく、関連するフレームを実用的な動画クリップにまとめます。こうした大規模なデータセットを管理するチームは、複雑なイベント駆動型パイプラインのアノテーション、トレーニング、デプロイをシームレスに行うために、Ultralytics Platformを利用することがよくあります。

関連する概念#

この技術を、類似するAI用語と区別することが重要です。

• アクションチャンク化: セマンティックチャンク化が最適な検索のためにデータを意味に基づいてグループ化するのに対し、アクションチャンク化は、ロボティクスにおいて、ロボットアームの軌道などの一連の物理的な動きを、実行可能な単一のアクションにまとめます。
• セマンティック検索: セマンティックチャンク化は正確な情報検索を可能にする重要なデータ準備フェーズであり、セマンティック検索は、ユーザーの意図に基づいて準備済みのチャンクを取得する実際のクエリ処理です。