Accuracy

精度は人工知能システムの評価における基本的なベンチマークとして機能し、モデルが行った正しい予測の割合を予測の総数に対して定量化します。machine learningおよび特にsupervised learningの文脈において、この指標は、アルゴリズムがトレーニングプロセス中に提供されたground truthとどの程度効果的に一致しているかの高レベルのスナップショットを提供します。これはパフォーマンスの最も直感的な尺度であり、「モデルの予測はどのくらいの頻度で正しいか？」という単純な質問に答えるものですが、開発者がより詳細な指標を掘り下げる前のシステムの信頼性の主要な指標として機能します。

パフォーマンス評価のニュアンス#

精度は優れた出発点ですが、すべてのクラスが均等に表現されているバランスの取れたtraining dataに適用する場合に最も効果的です。たとえば、猫と犬を区別する標準的なimage classificationタスクにおいて、データセットにそれぞれの画像が500枚ずつ含まれている場合、精度は信頼できる指標になります。ただし、imbalanced datasetsでは課題が生じ、「精度のパラドックス」につながります。

トランザクションのわずか1%しか不正ではないfraud detectionの訓練を受けたモデルにおいて、すべてのトランザクションを単に「正当」と予測するモデルは、意図したタスクを完全に失敗しながらも99%の精度を達成してしまいます。これを軽減するために、エンジニアはUltralytics Platformを使用してデータセットの分布を視覚化し、モデルが単に多数派クラスを暗記していないことを確認することがよくあります。

精度と関連用語の区別#

モデルのパフォーマンスを完全に理解するには、精度を類似の指標と区別することが重要です。

• Precision: これは陽性予測の品質を測定します。「陽性と予測されたすべてのインスタンスのうち、実際に陽性だったものはいくつあるか？」という問いに答えます。
• Recall: 感度とも呼ばれ、関連するすべてのケースを見つけるモデルの能力を測定します。「実際の陽性インスタンス全体のなかで、モデルは何個を正しく特定できたか？」という問いに答えます。
• F1-Score: これは精度と再現率の調和平均であり、両者のバランスを取る単一のスコアを提供します。これは特に不均衡なクラス分布に役立ちます。

精度が正しさの全体的な見方を提供するのに対し、適合率と再現率は偽陽性や偽陰性といった特定のエラータイプに関する洞察を提供します。

実社会での応用#

精度の実用性はさまざまな業界に広がり、クリティカルな環境におけるcomputer visionおよび予測モデルの信頼性を検証します。

• 医療診断: medical image analysisの分野では、X線やMRIスキャンを分類するためにモデルが使用されます。「健康」または「病理学的」のいずれかとしてスキャンを分類するモデルは、患者が正しい診断を受けることを保証するために高い精度に依存しています。AI in healthcareにおけるイノベーションは、自動化されたエラーを最小限に抑えるために厳格な検証に大きく依存しています。
• 製造業における品質管理: smart manufacturingの自動システムは、外観検査を使用して組立ラインの欠陥を特定します。高精度により、欠陥のない製品のみが出荷され、無駄や保証コストが削減されます。object detectionを採用して欠陥を発見することで、工場は自動的に生産基準を維持します。

コードで精度を測定する#

Pythonを使用した実際のシナリオでは、開発者は確立されたライブラリを使用してモデルの精度を簡単に測定できます。次の例は、YOLO26分類モデルを検証してトップ1精度を取得する方法を示しています。トップ1精度とは、モデルの最高確率の予測が正しいラベルと一致する頻度を指します。

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., MNIST)
metrics = model.val(data="mnist")

# Print the Top-1 Accuracy
print(f"Top-1 Accuracy: {metrics.top1:.4f}")

改善のための戦略#

モデルの精度が低い場合、パフォーマンスを向上させるためにいくつかの技術を採用できます。エンジニアは、data augmentationを利用してトレーニングセットの多様性を人工的に高め、モデルのoverfittingを防ぐことがよくあります。さらに、learning rateなどの設定を調整するhyperparameter tuningは、収束に大きな影響を与える可能性があります。複雑なタスクの場合、transfer learningを使用すると、モデルは大規模な事前トレーニング済みデータセット（ImageNetなど）からの知識を活用して、より小さく特定のデータセットでより高い精度を達成できます。