YOLOのライセンス
Ultralytics用語集に戻る

Data Preprocessing

データ前処理では、生の表データ、テキスト、画像を、モデルが想定するクリーンでスケーリング済みの固定形式の入力に変換します。一般的な手順、リークを防ぐルール、コードを解説します。

データ前処理とは、未加工データを機械学習(ML)モデルが必要とする、クリーンで一貫した形式の数値入力に変換する一連の処理です。学習時と推論時に同じ方法で適用します。表形式データでは、欠損値の処理、カテゴリの数値化、特徴量のスケーリングを行います。画像では、ファイルのデコード、ネットワークの入力サイズへのリサイズ、カラーチャンネルの並べ替え、ピクセル値のスケーリングを行います。前処理は実質的にモデルの一部です。RGB画像を0~1にスケーリングして学習したネットワークに、0~255のBGR画像を入力すると、重みが変わっていなくても信頼できない予測が生成されます。

一般的な前処理の手順#

  • データクリーニング: 重複、破損ファイル、あり得ない値を削除し、一貫性のないラベルや単位を修正します。
  • 補完: 欠損値を列の中央値などの統計量、モデルベースの推定値、独立した「欠損」カテゴリで埋めるか、欠損が多すぎる行を削除します。
  • エンコーディング: カテゴリを数値に変換します。色など順序のないカテゴリにはワンホットエンコーディング、サイズなど順序のあるカテゴリには順序コード、クラス名には整数インデックスを使います。
  • スケーリングと正規化: Min-maxスケーリングでは特徴量を0~1の範囲に変換し、標準化では平均を引いて標準偏差で割ります。これにより、距離ベースのモデルでミリメートル単位の特徴量がメートル単位の特徴量を圧倒するのを防ぎ、勾配降下法の収束も速くなります。torchvisionのImageNet事前学習済みモデルの多くは、RGB各チャンネルを平均値0.485、0.456、0.406、標準偏差0.229、0.224、0.225で標準化することを想定しています。
  • リサイズ: 画像を引き伸ばす、中央で切り抜く、またはレターボックス化することで、すべての画像をネットワークの入力サイズに合わせます。レターボックス化では、画像を縮尺変更して枠内に収め、残りをパディングすることでオブジェクトの縦横比を維持します。
  • トークン化: テキストをトークンに分割し、それぞれを固定語彙の整数IDに対応付けます。

ドメイン固有の手順をさらに適用します。CTスキャンではウィンドウ処理を行い、肺組織を示す範囲などのハウンスフィールド単位の範囲を、モデルが認識する表示輝度に対応付けます。音声は固定サンプリングレートにリサンプリングし、多くの場合スペクトログラムに変換します。

学習データで適合し、すべてに適用する#

特徴量の平均や標準偏差、補完値、カテゴリ語彙など、前処理で使う統計量は学習用分割だけで計算して保存し、検証データ、テストデータ、本番データに変更せず適用します。分割前にデータセット全体から計算すると、テストセットの情報が学習入力に影響することになり、評価スコアを過大にするデータリークが発生します。scikit-learn Pipelineでは、fitに渡されたデータの内部でのみ前処理手順を適合させ、このルールを徹底できます。サービング時に別のリサイズ方法や異なる画像デコーダーなどを使って前処理を変えると、学習・サービング間のずれが生じ、オフラインでは高いスコアを出すモデルが本番環境では性能を落とすことがあります。

ビジョンモデルの画像前処理#

画像モデルでは、テンソルのレイアウトを固定する必要があります。OpenCVは画像を高さ × 幅 × チャンネルの8ビット整数配列としてBGR順でデコードしますが、PyTorchのネットワークはチャンネル優先のRGB順で浮動小数点テンソルをバッチ化した形式を想定しています。UltralyticsのYOLO26予測では、これらの手順が自動で実行されます。画像を歪ませずに長辺がimgsz(デフォルトは640ピクセル)になるようリサイズし、固定形状のエクスポート済みモデルでは値114のグレーのピクセルでパディングして640 × 640の正方形にします。PyTorchモデルでは32ピクセルのストライドの次の倍数までだけパディングします。さらに、BGRからRGBに変換し、配列をチャンネル優先に並べ替え、255で割ります。以下のOpenCVとNumPyのスクリプトは、正方形のレターボックス化を手作業で行います。

import urllib.request

import cv2
import numpy as np

# Download a sample photo and read it as a BGR uint8 array of shape (height, width, 3)
urllib.request.urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread("bus.jpg")

# Resize so the longer side is 640 pixels, keeping the aspect ratio
scale = 640 / max(image.shape[:2])
resized = cv2.resize(image, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)

# Letterbox: center the resized image on a 640x640 canvas of gray (114) padding
canvas = np.full((640, 640, 3), 114, dtype=np.uint8)
top, left = (640 - resized.shape[0]) // 2, (640 - resized.shape[1]) // 2
canvas[top : top + resized.shape[0], left : left + resized.shape[1]] = resized

# Reorder BGR to RGB and HWC to CHW, scale pixels to 0-1, and add a batch dimension
tensor = canvas[:, :, ::-1].transpose(2, 0, 1).astype(np.float32) / 255.0
batch = tensor[None]
print(f"{image.shape} uint8 -> {batch.shape} float32 in [{batch.min():.1f}, {batch.max():.1f}]")

スクリプトは(1080, 810, 3) uint8 -> (1, 3, 640, 640) float32 in [0.0, 1.0]を出力します。1080 × 810の写真は、PyTorch 検出器が想定するレイアウトと値の範囲の単一画像バッチになり、左右それぞれ80ピクセルのグレーの余白で埋められます。

  • データラベリング: クラスやボックスなどの正解ターゲットを作成します。前処理では、そのターゲットを学習が読み込める数値形式に変換します。
  • 特徴量エンジニアリング: 身長と体重の列からBMIを算出するように、ドメイン知識をもとに新しい入力変数を作成します。
  • バッチ正規化: 学習時と推論時に中間活性化を標準化する、ネットワーク内のレイヤーです。前処理における入力の正規化は、データがネットワークに到達する前に一度だけ行います。
  • データ拡張: 反転、色の変化、モザイクなどのランダムな変換を学習時だけ適用し、各サンプルの多様な複製を作成します。前処理は決定的で、学習時と推論時に同じ処理を行います。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう