Transformer

Transformerは、自然言語や視覚的特徴などの順序付き入力データを処理するために、セルフアテンションと呼ばれるメカニズムに依存するディープラーニングアーキテクチャです。歴史的な論文 Attention Is All You Need でGoogleの研究者によって最初に紹介されたTransformerは、初期のRecurrent Neural Networks (RNNs)の順序処理の制限を取り除くことで、artificial intelligence (AI)の分野を革新しました。代わりに、Transformerはデータ全体のシーケンスを同時に解析するため、大規模な並列化が可能になり、GPUsのような最新ハードウェア上で学習時間を大幅に短縮できます。

Transformerの仕組み#

Transformerの中核となるイノベーションは、self-attentionメカニズムです。これにより、モデルは入力データの異なる部分の重要度を互いに関連付けて比較することができます。たとえば、文の中でモデルは、周囲の文脈に基づいて「bank」という単語が「river」よりも「money」により強く関連していることを学習できます。

このアーキテクチャは通常、主に2つのコンポーネントで構成されています。

• Encoder: 入力データを豊かな数値表現またはembeddingに処理します。
• デコーダー: エンコーダーの出力を利用して、翻訳された文章や予測されたバウンディングボックスなどの最終結果を生成します。

computer vision (CV)の領域では、モデルは通常、Vision Transformer (ViT)と呼ばれるバリエーションを採用します。テキストトークンを処理する代わりに、画像は固定サイズのパッチ（例：16x16ピクセル）に分割されます。これらのパッチは平坦化されてシーケンスとして扱われ、標準的なConvolutional Neural Network (CNN)よりも効果的に「グローバルコンテキスト」（画像内の離れた部分同士の関係の理解）をモデルが捉えることを可能にします。

Transformerと関連概念の比較#

Transformerアーキテクチャと関連用語を区別することは重要です。

• Attention Mechanism: これは、データの特定の部分に焦点を当てるという一般的な概念です。Transformerはアテンションレイヤーを中心に構築された特定のアーキテクチャですが、他のモデルではアテンションを小さなアドオンとしてのみ使用する場合があります。
• Large Language Model (LLM): 「GPT」などの用語は、膨大な量のテキストで訓練された特定のモデルを指します。ほぼすべての現代のLLMは、その基礎エンジンとしてTransformerアーキテクチャを使用しています。

実社会での応用#

Transformerの汎用性の高さから、さまざまな産業で採用が進んでいます。

1. Medical Imaging: In AI in Healthcare, Transformers are used for complex tasks like medical image analysis. Their ability to understand global spatial relationships helps in detecting subtle anomalies in high-resolution MRI or CT scans that local-feature-focused CNNs might miss.

2. 自律システム: autonomous vehiclesにとって、歩行者や他の車両の軌道を理解することは極めて重要です。Transformerは、時間枠をまたいでオブジェクトを追跡し、安全なナビゲーションを確保するための将来の動きを予測することで、video understandingに優れています。

Transformerによる物体検出#

CNNが従来オブジェクト検出を支配してきましたが、Real-Time Detection Transformer (RT-DETR)のようなTransformerベースのモデルが強力な代替手段として登場しています。RT-DETRは、CNNバックボーンの速度とTransformerデコーディングヘッドの精度を組み合わせています。

しかし、純粋なTransformerモデルは計算負荷が高くなる可能性があります。効率的なアテンションメカニズムと高速な畳み込み処理を統合した、YOLO26のような高度に最適化されたハイブリッドモデルは、多くのエッジアプリケーションにおいて速度と精度の優れたバランスを提供します。データセットのアノテーションからモデルのエクスポートまでのワークフローを効率化するUltralytics Platformを介して、これらのモデルのトレーニングとデプロイを簡単に管理できます。

Pythonの例: RT-DETRの使用#

次の例は、ultralyticsパッケージ内でTransformerベースのモデルを使用して推論を実行する方法を示しています。このコードは、事前にトレーニングされたRT-DETRモデルをロードし、画像内のオブジェクトを検知します。

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

数学的基礎に関する詳細な読み物として、PyTorch documentation on Transformer layersが技術的な深みを提供し、一方IBM's guide to Transformersは高レベルなビジネスの視点を提供します。