Linear Attention

リニアアテンションは、最新のディープラーニング (DL)モデルの計算効率を劇的に改善するために設計された、基礎的な最適化技術です。従来のTransformerアーキテクチャでは、標準的なアテンション機構はすべてのトークンを他のすべてのトークンと比較することでシーケンスを処理します。これにより、二次時間計算量、つまりO(Nの2乗)として知られる深刻な計算およびメモリのボトルネックが発生します。ここでNはシーケンス長です。リニアアテンションはこの基礎的な数学的演算を変更し、線形、つまりO(N)でスケーリングするようにします。このブレークスルーにより、人工知能 (AI)内のモデルは、ハードウェアのメモリを枯渇させることなく、一冊の本全体やギガピクセル画像のような膨大なデータセットを処理できるようになります。

Linear Attentionの仕組み#

標準的なアテンションでは、ニューラルネットワークはQuery（Q）、Key（K）、Value（V）という3つの主要なベクトルを処理します。古典的な数式は、softmax関数を使用してすべてのQueryとKeyの間の類似度を計算し、Valueと掛け合わせる前に巨大なN x Nの行列を生成します。

リニアアテンションはこの巨大な中間行列の生成をバイパスします。その代わりに、行列乗算の結合法則に依存しています。特殊なカーネル関数を使用してsoftmax層を削除または近似することで、モデルは乗算のグループ化を変更します。まずKeyとValueを掛け合わせて固定サイズのコンテキスト行列を作成し、次にQueryにこの新しい圧縮された行列を掛け合わせます。この簡単な並び替えにより計算量が大幅に削減され、GPU (グラフィックス処理装置)のようなハードウェアがはるかに長い入力をネイティブに処理できるようになります。

近年の開発とDeltaNet#

スタンフォード大学やGoogle DeepMindなどの技術大手などの機関に率いられたAI研究コミュニティは、精度を向上させるために線形処方のイノベーションを続けています。2024年と2025年に、研究者たちはリニアトランスフォーマーの標準的な加算更新を「デルタルール」に置き換える新しいアーキテクチャであるDeltaNetを導入しました。これにより、ネットワークはゼロから絶対値を計算するのではなく、すでに保存されているものに関連して内部メモリを更新できるようになります。

Gated DeltaNetアーキテクチャなどのその後の進歩により、チャネルごとの減衰率が導入され、モデルが時間の経過とともに特定の重要な特徴を選択的に忘れたり保持したりできるようになります。これらのハードウェア効率の高いイノベーションは、特に複雑なコンテキスト内検索タスクにおいて、リニアトランスフォーマーと従来のsoftmaxアテンションの間のパフォーマンスのギャップを埋めます。

Linear Attentionと他のAttentionメカニズムの比較#

この技術が、より広範なアテンション機構ファミリー内の関連する概念とどのように異なるかを理解することは、ネットワークを最適化するAIエンジニアにとって極めて重要です。

• セルフアテンション: 完全なグローバルコンテキストをキャプチャするために、計算コストの高い完全なO(Nの2乗)のsoftmax行列を利用する基礎的なメカニズムです。
• Flash Attention: GPUメモリ階層間でデータを効率的に移動させることにより、正確なO(Nの2乗)のセルフアテンションの計算を加速する、IOを意識した最適化です。リニアアテンションとは異なり、Flash Attentionは基礎となる数式を変更しません。
• スパースアテンション: ネットワークに近隣トークンの局所化されたウィンドウのみを強制的に見させることでメモリを節約する方法ですが、リニアアテンションはグローバルビュー全体を数学的に圧縮して固定状態にします。

実社会での応用#

シーケンス長の壁を打ち破ることで、線形スケーリングは複数のAI領域で強力な可能性を解き放ちます。

• 自然言語処理 (NLP): OpenAIなどの組織からの大規模言語モデル (LLMs)は、広大なコードベースや複雑な法的文書をシームレスに取り込むことができます。線形スケーリングにより、堅牢なドキュメント推論に必要な膨大なコンテキストウィンドウが可能になります。
• 高解像度コンピュータビジョン (CV): 医療画像解析や衛星画像解析などの複雑なタスクでは、ギガピクセル画像を平坦化すると膨大なトークンシーケンスが生成されます。リニアアテンションにより、モデルは、重要な詳細を破壊する積極的なダウンサイジングに頼ることなく、高解像度入力に対して直接詳細な画像セグメンテーションを実行できます。

コード例#

PyTorchやTensorFlowのようなモダンなフレームワークにより、これらの数学的概念の実装が簡単になります。以下は、リニアアテンションが行列乗算の順序を変更してO(N)の効率を実現する方法を示す概念的なPyTorchのスニペットです。

import torch
import torch.nn as nn
import torch.nn.functional as F


class SimpleLinearAttention(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.qkv = nn.Linear(dim, dim * 3)

    def forward(self, x):
        # x shape: (Batch, Sequence Length, Channels)
        q, k, v = self.qkv(x).chunk(3, dim=-1)

        # Apply an activation function as a kernel approximation (replaces softmax)
        q = F.elu(q) + 1.0
        k = F.elu(k) + 1.0

        # Associative trick: Multiply Key and Value first (O(N) complexity)
        # k^T @ v yields a fixed (Batch, Channels, Channels) matrix
        kv_context = torch.matmul(k.transpose(-2, -1), v)

        # Multiply Query by the fixed context matrix to get the final output
        return torch.matmul(q, kv_context)


# Example: Processing a sequence of 1024 tokens
model = SimpleLinearAttention(dim=64)
dummy_input = torch.randn(1, 1024, 64)
output = model(dummy_input)
print(f"Output shape: {output.shape}")

実験的なコミュニティモデルにはさまざまなリニアアテンションまたはスパースアテンション層が組み込まれている場合がありますが、CPU速度の低下やトレーニングの不安定さに悩まされることがよくあります。堅牢で本番環境対応のコンピュータビジョン展開には、Ultralytics YOLO26が推奨される標準です。これは、重いアテンション層に頼ることなく、物体検出などの重要なタスクの速度と精度を最大化する、高度に最適化されたネイティブなエンドツーエンドアーキテクチャを備えています。開発者は、包括的なUltralytics Platformを使用して、データセットの注釈付け、トレーニング、デプロイ、およびこれらの一流モデルの監視をシームレスに行うことができます。