注意機構

アテンション・メカニズムとは、人間の認知を模倣するニューラルネットワークの高度な技術である。 ニューラルネットワークにおける高度な技術である。 入力データの特定の部分に動的に優先順位をつけることを可能にする。すべての情報を同じ重みで処理するのではなく この方法は、すべての情報を同じ重みで処理するのではなく、異なる要素に重要度のスコアを割り当て、ノイズを抑制しながら関連する詳細を増幅する。 ノイズを抑制する。この機能は、現代の 人工知能 自然言語処理（NLP）から 自然言語処理（NLP） から高度なコンピュータ・ビジョン（CV）までの分野で大きなブレークスルーをもたらしている。

Attentionの仕組み

基本的なレベルでは、注意メカニズムは重みのセットを計算する。 入力シーケンスや画像の各パーツに、モデルがどれだけの「焦点」を当てるべきかを決定する。例えば機械翻訳では 例えば機械翻訳では モデルはこれらの重みを使用して、ソース言語の単語をターゲット言語の適切な単語に揃えます、 たとえそれらが文中で離れていても、である。

アテンションが広く採用される前は、以下のようなアーキテクチャがあった。 リカレント・ニューラル・ネットワーク（RNN） のようなアーキテクチャは 消失勾配問題 という勾配消失問題のために、長いシーケンスの処理に苦労していた。アテンションは、この問題を アテンションは、距離の長さに関係なく、データのすべての部分間に直接接続を作ることでこれを解決する。この概念は の研究者たちによる論文「Attention Is All You Need」で正式に発表された。 Google研究者たちによる論文「Attention Is All You Need」で正式に発表され、Transformerアーキテクチャを紹介した。

実際のアプリケーション

注意メカニズムは、今日使われている多くの高性能AIシステムの成功に不可欠である。

• 言語の翻訳と生成：Google翻訳のようなサービスは Google 翻訳のようなサービスは、文構造のニュアンスを理解するための注意に頼っている。 同様に、 OpenAIのGPT-4のような大規模言語モデル(LLM) OpenAIのGPT-4のような大規模言語モデル（LLM）は、アテンションを利用して、膨大なコンテクストウィンドウの中で、長い会話の一貫性を維持する。 膨大なコンテクストウィンドウの中で
• 視覚的物体検出：コンピュータ・ビジョンでは、注意はモデルが画像の顕著な領域に集中するのを助ける。 を集中させる。標準的な畳み込みベースのモデルは Ultralytics YOLO11のような標準的な畳み込みベースのモデルは非常に効率的である。 のような標準的な畳み込みベースのモデルは非常に効率的である。これは これは、歩行者 これは、歩行者、信号機、他の車両を瞬時に区別しなければならない自律走行車にとって非常に重要である。
• メディカル・イメージング医療画像解析において 医用画像解析において、アテンション・マップは MRIスキャンの腫瘍など特定の異常を強調し、最も重要な部位を指摘することで放射線科医を支援する。 診断のための最も重要な領域を指摘することによって放射線科医を支援する。スタンフォード医科大学などの研究者は スタンフォード医科大学などの研究者は、このような応用を探求し続けている。

アテンション vs. セルフ・アテンション vs. フラッシュ・アテンション

アテンション」を用語集にある特定のバリエーションと区別することは有益である。

• 注意のメカニズム：入力された特徴に動的に重み付けをするという広い概念。多くの場合 モデルがあるシーケンス（質問など）を使って別のシーケンス（文書など）に注目すること。
• 自己注意：特定のタイプ モデルが内部関係を理解するために同じシーケンスに注目する。例えば 例えば、"bank "という単語が金融機関ではなく河川銀行を指していることを、周囲の単語から解 の単語から、「銀行」は金融機関ではなく河川堤防を指すと理解する。
• フラッシュ・アテンション：I/Oを意識した アテンションの計算をGPU上で大幅に高速化し、メモリ効率を向上させる最適化アルゴリズム、 大規模モデルのトレーニングに不可欠。

コードでアテンションを実装する

のような最新のフレームワークがある。 PyTorch そして TensorFlow は、アテンション・レイヤーをビルトインでサポートする。コンピューター ビジョン・タスクでは ultralytics ライブラリには RT-DETRトランスフォーマー アテンション・メカニズムを利用した 精度.

以下の例では、トランスフォーマーベースのモデルで ultralytics パッケージで提供される。

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model (Real-Time DEtection TRansformer)
# This architecture explicitly uses attention mechanisms for object detection.
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the number of detected objects
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")

アテンションの未来

注意メカニズムの進化は、ディープラーニング（DL）の進歩を牽引し続けている。 ディープラーニング(DL)の進歩の原動力となっています。このような計算を これらの計算をより効率的にする エッジ・デバイス上でのリアルタイム推論をより効率的にするための革新が常に生まれている。そして DeepMindのようなグループの研究が、人工知能（AGI）の境界を押し広げている。 人工知能（AGI）の限界を押し広げるDeepMindのようなグループによる研究において、注意力は依然として基本的な要素である。今後 Ultralytics Platformは、これらの高度なアーキテクチャをトレーニング、デプロイ、監視するための包括的なツールを提供します。 開発者と企業のワークフローを合理化します。