トークン化

トークン化とは、テキスト、コード、画像などの生データのストリームを、トークンと呼ばれるより小さな個別の単位に変換する基本的なプロセスです、 トークンとして知られる個別の単位に変換する基本的なプロセスです。この変換は データ前処理パイプラインの重要な橋渡し役として機能する。 構造化されていない人間の情報を、以下のような数値フォーマットに変換する。 人工知能（AI）システムが解釈できる 解釈する。複雑なデータを管理可能な断片に分解することで、トークン化は以下を可能にします。 機械学習モデルがパターンを識別し、意味的関係を学習し 意味的関係を学習し、高度な推論タスクを実行できるようになります。この最初のステップがなければ 現代のテクノロジーを支えるニューラルネットワークは トレーニングに必要な膨大なデータセットを処理できなくなります。

トークン化 vs トークン

この2つの用語は近接して使われることが多いが、方法と結果を区別することが重要である。

• トークン化はデータに適用されるアクションまたはアルゴリズムである。文字列の分割や画像のセグメンテーションなど を含む。spaCyや NLTKのようなツールは、テキストのこのプロセスを容易にする。
• トークンは、プロセスによって生成される出力単位である。これらのユニットの性質の詳細については トークンの用語解説ページを参照してください。

AIにおけるトークン化の仕組み

トークン化の用途は、処理されるデータの種類によって大きく異なります。 データのベクトル表現である埋め込みを生成するという最終的な目的は変わりません。 を生成するという最終的な目的は変わりません。

自然言語処理におけるテキストのトークン化

自然言語処理 自然言語処理（NLP）、 このプロセスでは、文章を単語、サブワード、または文字に分割する。初期の方法では、単にテキストを でテキストを分割するだけだったが、最近の 最近の大規模言語モデル（LLM）では バイトペアエンコーディング（BPE）のような高度なアルゴリズムを利用することで のような高度なアルゴリズムを利用している。これにより GPT-4のようなモデルは、無限の辞書を必要とすることなく、複雑な語彙を処理することができます。 無限の辞書を必要としません。

コンピュータ・ビジョンにおける視覚的トークン化

従来、コンピュータ・ビジョン（CV）は ピクセル・アレイを使用していた。しかし ヴィジョン・トランスフォーマー（ViT）の台頭により 画像を固定サイズのパッチ（例えば16x16ピクセル）に分割するという概念を導入した。これらのパッチは平坦化され、視覚的トークンとして扱われる。 視覚的トークンとして扱われる。 自己注意を用いて、異なる画像領域の重要性を評価することができる。 文章がどのように処理されるかに似ている。

実際のアプリケーション

トークン化は単なる理論的概念ではなく、日常的に使用されるAIアプリケーションの多くを支えている。

1. マルチモーダル検出：YOLO-Worldのような先進モデル YOLOテキストと視覚のギャップを埋める。例えば ユーザー入力（例：「赤い車」）をトークン化し、視覚的特徴と照合することで、これらのモデルは、テキストと視覚のギャップを埋める。 オープン・ボキャブラリーの物体検出を行う。 新しいクラスに対して明示的に再学習する必要がありません。
2. 言語翻訳：Google翻訳のようなサービスは Google 翻訳のようなサービスは、入力されたテキストをトークンに分割し、トークンを介して翻訳することに依存しています。 それらを そして 出力トークンをターゲット言語に再構築します。
3. ジェネレーティブ・アート：以下のような 例えば 安定拡散のような、テキストから画像への生成が可能なモデルは、テキストをトークン化し、ノイズ除去プロセスをガイドする。 入力トークンの意味と一致するビジュアルを作成する。

例YOLOトークン化

次の例では、次の方法を示します。 ultralytics の中で暗黙のトークン化を利用している。 YOLOモデル ワークフローその .set_classes() メソッドは、モデルの検出フォーカスを動的に導くためにテキストリストをトークン化します。

from ultralytics import YOLO

# Load a pre-trained YOLO-World model
model = YOLO("yolov8s-world.pt")

# Define custom classes; the model tokenizes these strings to search for specific objects
model.set_classes(["backpack", "person"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

モデル性能における重要性

トークン化戦略の選択は 精度と計算効率に直接影響する。非効率的な なトークン化は、自然言語処理における「語彙不足」のエラーや、画像セグメンテーションにおける 画像セグメンテーションでは詳細が失われる。次のようなフレームワークがあります。 PyTorchや TensorFlowのようなフレームワークは、このステップを最適化する柔軟な ツールを提供している。最新の YOLO11-効率的なデータ処理により、モデルは リアルタイム推論を実行することができる。 クラウドGPUからエッジ・デバイスまで、さまざまなハードウェア上でリアルタイム推論を実行することができます。