Tokenization

トークン化とは、テキスト、画像、音声などの生データのストリームを、「トークン」と呼ばれるより小さく管理しやすい単位に分割するアルゴリズム処理です。この変換は、データ前処理パイプラインにおいて極めて重要な架け橋としての役割を果たし、非構造化入力を人工知能 (AI)システムが解釈可能な数値形式に変換します。コンピュータは本来、人間の言語や視覚的なシーンを理解できないため、計算を実行するには数値表現が必要となります。データをトークンに分割することで、エンジニアはニューラルネットワークがこれらの単位を、意味内容を保持するベクトル表現である埋め込みにマッピングできるようにします。この基本的なステップなしでは、機械学習モデルはパターンを識別したり、文脈を学習したり、現代のトレーニングに必要な膨大なデータセットを処理したりすることができません。

Link to this sectionトークン化とトークンの違い#

深層学習の議論において、これらの用語はよく一緒に耳にしますが、ワークフローを理解するためには手法と結果を区別することが有益です。

• **トークン化**は「プロセス」（動詞）を指します。これは、データを分割するために使用される特定のルールやアルゴリズムのセットを指します。テキストの場合、これには NLTK や spaCy のようなライブラリを使用して、どこで1つの単位が終わり、どこから次が始まるかを決定する処理が含まれます。
• **トークン**は「出力」（名詞）を指します。これは、単一の単語、サブワード、文字、あるいは画素のパッチなど、プロセスによって生成される個々の単位です。

Link to this section各ドメインにおける手法#

トークン化の戦略は、データのモダリティ（形式）によって大きく異なり、基盤モデルが世界をどのように認識するかに影響を与えます。

Link to this sectionNLPにおけるテキストのトークン化#

自然言語処理 (NLP) における目標は、意味を維持しながらテキストをセグメント化することです。初期の手法は、スペースで単語を区切ったり、ストップワードを除去したりするような単純な技術に依存していました。しかし、最新の大規模言語モデル (LLMs) では、Byte Pair Encoding (BPE) や WordPiece といった、より高度なサブワードアルゴリズムが採用されています。これらのアルゴリズムは、最も頻繁に出現する文字のペアを反復的に統合することで、モデルが希少な単語を使い慣れたサブコンポーネントに分解して処理できるようにします（例：「smartphones」が「smart」と「phones」になる）。このアプローチは、語彙サイズと複雑な言語を表現する能力のバランスを取っています。

Link to this sectionコンピュータビジョンにおける視覚的トークン化#

Traditionally, computer vision (CV) models like CNNs processed pixels using sliding windows. The introduction of the Vision Transformer (ViT) changed this paradigm by applying tokenization to images. The image is sliced into fixed-size patches (e.g., 16x16 pixels), which are then flattened and linearly projected. These "visual tokens" allow the model to utilize self-attention mechanisms to learn global relationships across the image, similar to how a Transformer processes a sentence.

Link to this section実社会での応用#

トークン化は、今日のプロダクション環境で使用されている多くのAIアプリケーションを支える目に見えないエンジンです。

1. オープンボキャブラリー物体検出: YOLO-World のような高度なアーキテクチャは、マルチモーダルモデルアプローチを採用しています。ユーザーが「赤い帽子をかぶった人」といったプロンプトを入力すると、システムはこのテキストをトークン化し、視覚データと同じ特徴空間にマッピングします。これによりゼロショット学習が可能になり、モデルはテキストトークンと視覚的特徴を照合することで、明示的に学習していない物体も検出できるようになります。

2. 生成アートとデザイン: テキストから画像への生成において、ユーザーのプロンプトは拡散プロセスをガイドするためにトークン化されます。モデルはこれらのトークンを使用して生成を条件付けし、結果として得られる画像が、トークン化フェーズで抽出された意味的概念（例：「夕日」、「ビーチ」）と一致するようにします。

Link to this sectionPythonの例：トークンベースの検出#

以下の例は、ultralytics パッケージがYOLO-Worldのワークフロー内でどのように暗黙的にテキストトークン化を利用しているかを示しています。カスタムクラスを定義することで、モデルはこれらの文字列をトークン化し、特定の物体を動的に検索します。

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Link to this sectionモデルパフォーマンスへの影響#

The choice of tokenization strategy directly impacts accuracy and computational efficiency. Inefficient tokenization can lead to "out-of-vocabulary" errors in NLP or the loss of fine-grained details in image analysis. Frameworks like PyTorch and TensorFlow provide flexible tools to optimize this step. As architectures evolve—such as the state-of-the-art YOLO26—efficient data processing ensures that models can run real-time inference on diverse hardware, from powerful cloud GPUs to edge devices. Teams managing these complex data workflows often rely on the Ultralytics Platform to streamline dataset annotation, model training, and deployment.