Transformer

A Transformer is a deep learning architecture that relies on a mechanism called self-attention to process sequential input data, such as natural language or visual features. Originally introduced by Google researchers in the landmark paper Attention Is All You Need, the Transformer revolutionized the field of artificial intelligence (AI) by discarding the sequential processing limitations of earlier Recurrent Neural Networks (RNNs). Instead, Transformers analyze entire sequences of data simultaneously, allowing for massive parallelization and significantly faster training times on modern hardware like GPUs.

Link to this sectionTransformerの仕組み#

Transformerの核となる革新はセルフアテンションメカニズムです。これにより、モデルは入力データの異なる部分の重要度を互いに照らし合わせて評価できます。例えば、文章の中で「bank」という単語が「river（川）」よりも「money（お金）」と密接に関連していることを、周囲の文脈に基づいて学習できるのです。

このアーキテクチャは通常、主に2つのコンポーネントで構成されています。

• エンコーダー: 入力データを処理し、豊富な数値表現または埋め込み（Embedding）に変換します。
• デコーダー: エンコーダーの出力を利用して、翻訳された文章や予測されたバウンディングボックスなどの最終結果を生成します。

コンピュータビジョン (CV)の領域では、通常Vision Transformer (ViT)と呼ばれる変形モデルが採用されています。テキストトークンを処理する代わりに、画像を固定サイズのパッチ（例：16x16ピクセル）に分割します。これらのパッチをフラット化してシーケンスとして扱うことで、標準的なConvolutional Neural Network (CNN)よりも効果的に「グローバルコンテキスト」を捉え、画像内の遠く離れた部分同士の関係性を理解できます。

Link to this sectionTransformerと関連概念の比較#

Transformerアーキテクチャと関連用語を区別することは重要です。

• アテンションメカニズム: これはデータの特定の箇所に注目するという一般的な概念です。Transformerはアテンションレイヤーを中心に構築された特定のアーキテクチャですが、他のモデルではアテンションを単なる小さな補助機能として使用する場合もあります。
• 大規模言語モデル (LLM): 「GPT」のような用語は、膨大なテキストデータで学習された特定のモデルを指します。現代のLLMのほとんどすべてが、基盤となるエンジンとしてTransformerアーキテクチャを採用しています。

Link to this section実社会での応用#

Transformerの汎用性の高さから、さまざまな産業で採用が進んでいます。

1. 医療画像: AI in Healthcareにおいて、Transformerは医療画像解析のような複雑なタスクに使用されます。グローバルな空間関係を理解する能力により、局所的な特徴に注目するCNNでは見落とされがちな高解像度のMRIやCTスキャン内の微細な異常を検出するのに役立ちます。

2. 自律システム: 自動運転車にとって、歩行者や他の車両の軌道を理解することは極めて重要です。Transformerは、時間枠を超えてオブジェクトを追跡し、将来の動きを予測して安全なナビゲーションを確保する動画理解において優れた能力を発揮します。

Link to this sectionTransformerによる物体検出#

従来、物体検出はCNNが主流でしたが、Real-Time Detection Transformer (RT-DETR)のようなTransformerベースのモデルが強力な代替手段として台頭しています。RT-DETRは、CNNバックボーンの速度とTransformerデコーディングヘッドの精度を組み合わせています。

しかし、純粋なTransformerモデルは計算負荷が高くなる可能性があります。多くのエッジアプリケーションでは、効率的なアテンションメカニズムと高速な畳み込み処理を統合した、最適化されたハイブリッドモデルであるYOLO26が、速度と精度の優れたバランスを提供します。これらのモデルの学習とデプロイはUltralytics Platformを通じて簡単に管理でき、データセットのアノテーションからモデルのエクスポートまでのワークフローを効率化します。

Link to this sectionPythonの例: RT-DETRの使用#

以下の例は、ultralyticsパッケージ内でTransformerベースのモデルを使用して推論を実行する方法を示しています。このコードは、学習済みRT-DETRモデルをロードし、画像内のオブジェクトを検出します。

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

数学的基礎に関する詳細については、PyTorchのTransformerレイヤーに関するドキュメントが技術的な深掘りを提供しており、IBMのTransformerガイドはビジネスの視点から概説しています。