微調整

ファインチューニングは、機械学習（ML）の中核となる技術であり、大規模で一般的なデータセットで事前に訓練されたモデルを、より小規模で特殊なデータセットでさらに訓練することを含む。転移学習の一種であるこのプロセスは、モデルをゼロから訓練することなく、モデルの学習した知識を特定のタスクに秀でるように適応させる。強力な基礎モデルから始めることで、開発者は大幅に少ないデータと計算リソースで高いパフォーマンスを達成することができる。

微調整の仕組み

このプロセスは、ビジョン用のImageNetや 大規模言語モデル（LLM）用の膨大なテキスト・コーパスのような広範なデータセットで、すでに重みが最適化されたモデルから始まる。この事前に訓練されたモデルは、画像のエッジやテクスチャー、テキストの文法や意味といった一般的な特徴をすでに理解している。その後、ターゲット・アプリケーションに合わせたカスタム・データセット上で、通常より低い学習率を使用して、ファインチューニングによる学習プロセスを継続する。これによりモデルのパラメータが調整され、新しいタスク特有のニュアンスに特化したものになる。PyTorchや TensorFlowのようなフレームワークは、微調整ワークフローを実装するための広範なツールを提供している。

実世界での応用

微調整は、コンピュータビジョン（CV）や自然言語処理（NLP）で広く使われている。

• 医療画像解析： UltralyticsのYOLO11のようなモデルは、COCOデータセット上で一般的な物体検出のために事前に訓練されているが、腫瘍を正確に検出するためにMRIスキャンの特殊なコレクション上で微調整することができる。このようなカスタマイズは、ヘルスケアにおける信頼性の高いAIソリューションを構築する上で非常に重要です。
• カスタムチャットボット：企業は、BERT のような強力な LLM を、社内文書やカスタマー・サポート・ログ上で微調整することができます。その結果、モデルはその会社の製品のエキスパートになり、ウェブサイト用の非常に効果的でコンテキストを意識したチャットボットを可能にします。このようなモデルの多くは、Hugging Faceのようなプラットフォームで利用可能です。

微調整と関連概念

ファインチューニングを他のモデル適応技術と区別することは重要である：

• ゼロからのトレーニング：これは、ランダムな重みでニューラルネットワークを初期化し、データセットでそれを訓練する。これには膨大な量のデータと計算能力（GPUなど）が必要であり、一般に事前に訓練されたモデルを微調整するよりも効率が悪い。
• PEFT（Parameter-Efficient Fine-Tuning）：PEFTは、ファインチューニングをよりリソース効率的に進化させた手法の集合体である。モデルのすべての重みを更新する代わりに、LoRAのようなPEFT技法は元のモデルを凍結し、少数の新しいパラメータのみを訓練します。これにより、メモリとストレージの要件が劇的に削減され、Meta AIや Googleのような組織が提供する非常に大規模なモデルの適応が容易になります。
• プロンプト・チューニング：PEFT特有の手法で、元のモデルの重みはすべて凍結される。モデル自体を調整する代わりに、特別な「ソフトプロンプト」（学習可能な埋め込み）を学習し、入力に追加して、特定のタスクに対するモデルの出力をガイドする。
• 検索補強型生成（RAG）：この技術は、学習によってモデルの重みを変更するのではなく、推論時に外部の知識を提供することによって、モデルの出力を向上させる。RAGはデータベースから関連情報を検索し、それをプロンプトに追加することで、より正確で最新の応答を生成する。

ウルトラリティクスによる微調整

Ultralyticsは、カスタムアプリケーション用に最先端のYOLOモデルを微調整するプロセスを簡素化します。ユーザーは、画像分類、検出、またはセグメンテーションのようなタスクのために、事前に訓練された重みをロードし、独自のデータセット上で簡単に訓練を開始することができます。Ultralytics HUBプラットフォームは、このワークフローをさらに合理化し、データセットの管理、モデルのトレーニング、最終的なデプロイメントのための統合ソリューションを提供します。最高のパフォーマンスを得るために、ファインチューニングはしばしば注意深いハイパーパラメータのチューニングと組み合わされます。