Longformer

Longformerは、Transformerアーキテクチャを改良したものである。 のような従来のモデルの入力長の制限を克服し、長いデータ列を効率的に処理するように設計されている。 のような BERTのような従来のモデルの入力長の制限を克服している。 標準的なTransformerは強力であるが、そのメモリ使用量はシーケンスの長さに対して2次関数的に増加するため、数百語以上の長さの文書では計算コストが高くなる。 数百語以上の文書では計算コストがかかる。Longformerはこの問題に対処するために スパースアテンションメカニズムを採用することで を採用することで、数千のトークンからなる文書を扱うことができる。この機能により、Longformerは 技術となっている。 自然言語処理（NLP） 例えば、法的契約の分析、書籍の要約、ゲノムデータの処理などである。

アーキテクチャ疎な注意

Longformerの背後にある重要な革新は、標準的なディープラーニング（DL）モデルで使用されている完全な自己注意からの脱却である。 ディープラーニング（DL）モデルとは異なる点だ。従来のセットアップでは 従来の設定では、すべてのトークンが他のすべてのトークンに注目するため、密な接続の網が形成され、メモリがすぐに枯渇してしまう。ロングフォーマー は、これをより効率的でスパースなアプローチに置き換えることで、計算の複雑さを軽減しながら高いパフォーマンスを維持します。 計算の複雑さを軽減する。

• スライディング・ウィンドウの注目畳み込みニューラルネットワーク(CNN)の局所的な接続性にヒントを得た。 Longformerは、畳み込みニューラルネットワーク(CNN)の局所的な接続性にヒントを得て、スライディングウィンドウを使用する。これにより 構文や文の構造を理解するのに不可欠なローカルコンテキストを捉えます。
• グローバルな注目：文書の広い文脈を理解するために、特定のトークンを指定する。 を指定する。これにより、モデルは以下のようなタスクを実行できる。 質問応答や分類のようなタスクを 入力全体の情報を集約することで、ローカルな詳細とグローバルな理解のギャップを埋める。 理解することができる。

このハイブリッドメカニズムにより、研究者は標準的なハードウェアで最大4096個以上のトークンのシーケンスを処理することができる、 解析に利用できるコンテキストウィンドウを大幅に拡大 を大幅に拡大する。

実際のアプリケーション

長い配列を切り捨てることなく解析できるようになったことで、データの連続性が重要視されるさまざまな分野で、新たな可能性が開かれた。 新たな可能性を切り開いた。

• 法律と財務の要約：専門家はしばしば、長い契約書や年次報告書から洞察を引き出す必要がある。 を抽出する必要があります。Longformerは高度な テキスト要約ツールを搭載しています。 文書全体を一度に要約し、契約書の末尾にある重要な条項が導入部分と一緒に考慮されるようにします。 とともに考慮されるようにします。
• ゲノム研究バイオインフォマティクスの分野では、科学者は以下のようなDNA配列を解析する。 DNA配列を解析する。 解析する。Longformerは、遺伝暗号に固有の長距離依存関係をモデル化することによって、遺伝子の機能を特定し、タンパク質の構造を予測するのに役立つ。 Longformerは、遺伝子コードに内在する長距離依存関係をモデル化することで、遺伝子機能の特定やタンパク質構造の予測を支援する。 標準的な大規模言語モデル（LLM）では困難であった。

ロングフォーマーと関連概念の区別

Longformerを他のアーキテクチャと比較することは、特定の人工知能（AI）プロジェクトに適したツールを選択するのに役立つ。 人工知能（AI）プロジェクト

• トランスフォーマーオリジナルの O(n^2)$）を提供し、短いセンテンスには理想的だが、長い入力ではメモリ不足になる。 になる。Longformerはこれを$O(n)$の複雑さで近似する。
• リフォーマーロングフォーマー同様、リフォーマーも は効率を目標としているが Locality-Sensitive Hashing (LSH)を使って、類似したトークンをグループ化し と可逆的な残差レイヤーを使って実現する。Longformerは多くの場合、厳密に定義された局所コンテキスト（隣接する単語）を必要とするタスクに適している。 一方、Reformerはメモリが絶対的なボトルネックになる場合に有効である。
• トランスフォーマーXL：このモデル は再帰によって長さを処理し、過去のセグメントの記憶を保持する。Longformerは長いシーケンス全体 これは、文書分類のような非自己回帰的なタスクに有利である。

効率的な推論の例

Longformerがテキスト処理をスピードとメモリのために最適化するように、最新のビジョンモデルは画像処理を最適化する。以下の例では 次の例では Ultralytics YOLO11を使用して を使用する。これは、複雑なデータ入力をハードウェアリソースに過負荷をかけることなく処理するために、最適化されたアーキテクチャを使用するというコンセプトと類似している。 ハードウェアリソースに過負荷をかけることなく、複雑なデータ入力を処理するために最適化されたアーキテクチャを使用するという概念と類似している。

from ultralytics import YOLO

# Load a YOLO11 model, optimized for efficiency similar to Longformer's design goals
model = YOLO("yolo11n.pt")

# Perform inference on an image URL
# The model processes the input effectively in a single pass
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Output the detection summary
for result in results:
    print(f"Detected {len(result.boxes)} objects.")

Longformerは、大規模な入力処理に必要なメモリフットプリントを削減することで、開発者がより洗練されたAIエージェントや分析ツールを構築することを可能にします。 より洗練されたAIエージェントや分析ツールを構築できるようになる。このリニアスケーラビリティへのシフトは リニアなスケーラビリティへのシフトは、今後のモデル展開に不可欠である。 強力な AIがアクセスしやすく効率的であり続けることを保証します。