Reformer

Reformerは、標準的なTransformerモデルを改良するために設計された非常に効率的なアーキテクチャです。 Transformerモデルを改良し、非常に長いシーケンスを処理する際の 消費量と計算コストを大幅に削減します。従来のTransformerが 自然言語処理(NLP)に革命をもたらした、 従来のTransformerは自然言語処理(NLP)に革命をもたらしたが、そのメモリ使用量はシーケンスの長さに対して2次関数的に増加するため、長い文書に対して実行するには高価であった。そこで Reformerはこのボトルネックに対処し、単一のGPU（Graphics Processing Unit）で最大100万トークンのシーケンスを処理できるようにした。 GPU （グラフィック・プロセッシング・ユニット） の研究に新たな可能性をもたらします。 ディープラーニング（DL）の研究に新たな可能性をもたらします。

リフォーマーを支えるコア・イノベーション

Reformerは、2次式の複雑さ$O(L^2)$ではなく、線形複雑さ$O(L)$を達成するための2つの主要な技術を導入している、 を達成するための2つの主要な技術を導入している。これにより、前任者よりも効率的に膨大な量のデータを処理できるようになった。

• ロカリティセンシティブハッシング (LSH) アテンション： 標準的なアテンション・メカニズムでは トークンは他の全てのトークンに注意を払う。ReformerはLSHを使って類似ベクトル をバケットにグループ化する。アテンションはこれらのバケット内のみで計算される。 精度は高いが、コストはほんのわずかである。これにより、モデルはシーケンス全体を走査することなく、入力の関連部分に焦点を当てることができる。 これにより、モデルはシーケンス全体を走査することなく、入力の関連部分に焦点を当てることができる。
• リバーシブル・レジデュアル・レイヤーディープ ニューラルネットワークのトレーニングには通常 バックプロパゲーション中に勾配を計算するために、各層の活性度を保存する必要がある。 バックプロパゲーションを行います。Reformerはリバーシブル 層を使っているため、逆伝播中に活性度をメモリに保存するのではなく、その場で再計算することができる。 この革新的な技術により、モデルのメモリ効率が大幅に向上し、より深いネットワークの学習が可能になった。

実際のアプリケーション

広範なコンテクストを処理する能力により、Reformerは、データの大域的な構造を理解することが重要なタスクに際立って有用である。 データの大域的な構造を理解することが極めて重要である。

• ゲノム解析： DNA配列は何百万もの塩基対から構成されている。 の塩基対から構成されており、遠く離れた要素が互いに影響し合う可能性がある。Reformerはこのような長い配列を取り込んで、遺伝子の機能を特定したり、タンパク質の構造を予測したりすることができる。 のような標準的なモデルでは、しばしばメモリを大量に消費する作業である。 このタスクは このタスクは、BERTのような標準的なモデルにはメモリ集約的すぎることが多い。
• 長い文書の要約法律や金融の分野では、専門家が数百ページに及ぶ文書を分析することがよくあります。 することがあります。Reformerベースのモデルは、書籍や法的契約書全体を一度に処理することができます。 テキスト要約や質問応答 とは異なり、長距離でも一貫性を維持しながら、質問に答えることができる。 リカレント・ニューラル・ネットワーク（RNN） とは異なり、長距離でも一貫性を維持することができる。
• 高解像度画像の生成：ピクセルをシーケンスとして扱うことで、リフォーマーは画像生成タスクに適用できます。 画像生成タスクに適用できます。 高解像度のビジュアルをピクセル単位で生成することができます。

関連用語との区別

リフォーマーを他のシークエンス・モデルと区別することは重要である。一方 ロングフォーマーも長いシーケンスを対象としているが、グローバルな注意と組み合わせた スライディングウィンドウアテンションメカニズムとグローバルアテンションを組み合わせている。対照的に、Reformerはハッシュ(LSH) に依存している。さらに YOLO11がコンピュータビジョンにおけるスピードに最適化されているのに対し 最適化されている。 に最適化されている。しかし、どちらも制約のあるハードウェア上でパフォーマンスを最大化するという目標を共有している。 ハードウェアで最大限の性能を発揮するという目標は共通している。

効率的な推論の実装

Reformerは特殊なアーキテクチャであるが、効率的な推論という概念はAIにおいて普遍的なものである。次の を使って効率的な推論を行う方法を示す。 ultralytics ビデオ・ストリームの スピードとメモリーの最適化が重要である。

from ultralytics import YOLO

# Load the YOLO11n model, optimized for speed and efficiency
model = YOLO("yolo11n.pt")

# Run inference on a video source (treating frames as a sequence)
# stream=True uses a generator to process frames one by one, saving memory
results = model.predict(source="https://ultralytics.com/images/bus.jpg", stream=True)

for result in results:
    # Process each frame's detection results efficiently
    print(f"Detected {len(result.boxes)} objects in current frame.")

リフォーマーのようなアーキテクチャを理解することは、AIの進化をナビゲートするために不可欠である。 AIの進化をナビゲートするために不可欠である。 リフォーマーのようなアーキテクチャを理解することは、AIの進化をナビゲートする上で不可欠である。 人工知能（AI）で計算可能なことの限界を押し広げるからだ。効率的な Ultralytics ガイドをご覧ください。