LoRA（Low-Rank Adaptation）

LoRA（低ランク適応）は、機械学習（ML）の分野における革命的な技術である。 機械学習(ML)の分野における革命的な手法である。 機械学習（ML）分野における画期的な手法である。最新の 基礎モデルのサイズが爆発的に大きくなり 数十億のパラメータを含むこともあり、特定のタスクのためにそれらを再トレーニングすることは、多くの研究者や開発者にとって計算上不可能になってきている。 や開発者にとって計算不可能なものとなっています。LoRAは、オリジナルの モデルの重みを凍結し、より小さく訓練可能な 低ランク行列をアーキテクチャに注入する。このアプローチにより、学習可能なパラメータの数が大幅に削減される、 メモリ要件を低減し、標準的なGPU（グラフィック・プロセッシング・ユニット）のような民生グレードのハードウェアで効果的なモデル適応を可能にする。 GPU （グラフィック・プロセッシング・ユニット）。

LoRAの仕組み

LoRAの核となる革新性は、モデルの再トレーニングの必要性を完全に回避する能力にある。従来の 従来のファインチューニングでは、ニューラルネットワークのすべてのウェイトがバックプロパゲーション中に更新される。 バックプロパゲーション中に更新されるため、膨大なオプティマイザの状態を保存する必要がある。しかしLoRAは、事前に訓練された モデルを固定する。ランク分解行列のペアを特定の層に導入する。 アテンション・メカニズム トランスフォーマー・アーキテクチャ

学習過程では、これらの小さなアダプター行列だけが更新される。 だけが更新される。これらの行列は "低ランク "である。 計算オーバーヘッドは最小限である。このコンセプトは 次元削減の原則を借用している、 新しいタスクへの適応は、モデルのパラメータの低次元部分空間に依存すると仮定する。これにより の基礎となる。 パラメータ効率的ファインチューニング（PEFT）の基礎となり、元のチェックポイントの数分の一のサイズでタスクに特化したモデルを作成することができます。

次のPython スニペットは、標準的なトレーニング実行を開始する方法を示しています。 ultralytics パッケージを使用する。このコマンドはデフォルトで完全なトレーニングを行うが、高度なコンフィギュレーションでは、LoRAのようなPEFT技術を活用することができる。 LoRAのようなPEFTテクニックを活用して、特定の カスタムデータセット.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# LoRA strategies can be applied to freeze the backbone and train adapters
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

実際のアプリケーション

LoRAの効率性は、人工知能（AI）のさまざまな領域で新たな可能性を引き出している。 人工知能（AI）。

• カスタマイズされた大規模言語モデル（LLM）：組織は、LoRAを使用して、汎用の大規模言語モデル（LLM）をニッチな用途に適合させる。 大規模言語モデル（LLM）をニッチな業界向けに適応させるためにLoRAを使用する。 カスタマイズする。例えば、法律事務所が、独自のケースファイル チャットボットを訓練する。オリジナルの Microsoft LoRAのオリジナル論文は、この方法が完全なファインチューニングに匹敵する性能を維持しながら 完全な微調整に匹敵するパフォーマンスを維持しながら、ストレージの必要量を最大10,000分の1に削減できることを実証した。
• ジェネレーティブAIアート：ジェネレーティブAIの領域では ジェネレーティブAIの領域では、アーティストがLoRAを利用して、安定拡散のような画像生成モデルに新しい技術を教えている。 安定拡散のような画像生成モデルに新しいスタイル のような画像生成モデルに新しいスタイル、キャラクター、コンセプトを教えるためにLoRAを利用する。小さな画像セットでトレーニングすることで、軽量な「LoRA ファイル」（多くの場合、数メガバイト）を作成し、それをベースモデルに差し込むことで、出力スタイルを劇的に変化させることができる。 劇的に。
• 効率的なコンピュータビジョン：物体検出 オブジェクト検出のようなタスクでは、エンジニアは強力な を適応させることができます。 製造品質管理。これは これは、デバイスのメモリが限られているエッジ展開には極めて重要である。今後の YOLO26のような将来のアーキテクチャは、リアルタイム・アプリケーションのために、このような効率性をさらに統合することを目指している。 リアルタイム・アプリケーションを目指す。

LoRAと関連概念の比較

LoRAを完全に理解するためには、他の適応戦略と区別することが役に立つ：

• フル・ファイン・チューニング:この伝統的な方法では、モデルのすべてのパラメータを更新する。最大限の可塑性が得られる反面 リソースを消費し、モデルが以前に学習した知識を失う「壊滅的忘却」を起こしやすい。 が発生しやすい。このような問題を解決するために モデルトレーニングのヒント をご覧ください。
• プロンプトエンジニアリング:LoRAが（アダプタを介して）モデルの重みを変更するのとは異なり、プロンプトエンジニアリングは、凍結されたモデルの動作を導く効果的なテキスト入力を作成することに重点を置いています。 入力に焦点を当てる。訓練は必要ないが、複雑なタスクを扱うには限界がある、 ドメイン固有のタスクを扱うには、重み適応に比べて限界があるかもしれない。
• トランスファー・ラーニング:これは、あるタスクから知識を取り出し、それを別のタスクに適用するという、より広い概念である。LoRAは具体的で 非常に効率的な転移学習の実装である。
• プロンプト・チューニング:このテクニックは、入力シーケンスに追加された「ソフトプロンプト」（ベクトル）を学習する。また パラメータ効率も良いが、内部モデル層ではなく、入力埋め込みに対して動作する。 LoRAのディープインテグレーションに比べ、表現力が制限されることがある。

モデルのカスタマイズへのアクセスを民主化することで、LoRAは開発者に医用画像解析に特化したツールを構築する権限を与える。 医療画像解析 野生動物保護 自律走行車 巨大企業のインフラを必要とすることなく。業界は、近々発表されるUltralytics プラットフォームのような汎用性の高いプラットフォームに向かっています。 プラットフォーム-モデルのサイズとトレーニングコストを切り離す技術は、スケーラブルなAIイノベーションに不可欠であり続けるだろう。