Data Preprocessing
データ前処理では、生の表データ、テキスト、画像を、モデルが想定するクリーンでスケーリング済みの固定形式の入力に変換します。一般的な手順、リークを防ぐルール、コードを解説します。
データ前処理とは、未加工データを機械学習(ML)モデルが必要とする、クリーンで一貫した形式の数値入力に変換する一連の処理です。学習時と推論時に同じ方法で適用します。表形式データでは、欠損値の処理、カテゴリの数値化、特徴量のスケーリングを行います。画像では、ファイルのデコード、ネットワークの入力サイズへのリサイズ、カラーチャンネルの並べ替え、ピクセル値のスケーリングを行います。前処理は実質的にモデルの一部です。RGB画像を0~1にスケーリングして学習したネットワークに、0~255のBGR画像を入力すると、重みが変わっていなくても信頼できない予測が生成されます。
一般的な前処理の手順#
- データクリーニング: 重複、破損ファイル、あり得ない値を削除し、一貫性のないラベルや単位を修正します。
- 補完: 欠損値を列の中央値などの統計量、モデルベースの推定値、独立した「欠損」カテゴリで埋めるか、欠損が多すぎる行を削除します。
- エンコーディング: カテゴリを数値に変換します。色など順序のないカテゴリにはワンホットエンコーディング、サイズなど順序のあるカテゴリには順序コード、クラス名には整数インデックスを使います。
- スケーリングと正規化: Min-maxスケーリングでは特徴量を0~1の範囲に変換し、標準化では平均を引いて標準偏差で割ります。これにより、距離ベースのモデルでミリメートル単位の特徴量がメートル単位の特徴量を圧倒するのを防ぎ、勾配降下法の収束も速くなります。torchvisionのImageNet事前学習済みモデルの多くは、RGB各チャンネルを平均値0.485、0.456、0.406、標準偏差0.229、0.224、0.225で標準化することを想定しています。
- リサイズ: 画像を引き伸ばす、中央で切り抜く、またはレターボックス化することで、すべての画像をネットワークの入力サイズに合わせます。レターボックス化では、画像を縮尺変更して枠内に収め、残りをパディングすることでオブジェクトの縦横比を維持します。
- トークン化: テキストをトークンに分割し、それぞれを固定語彙の整数IDに対応付けます。
ドメイン固有の手順をさらに適用します。CTスキャンではウィンドウ処理を行い、肺組織を示す範囲などのハウンスフィールド単位の範囲を、モデルが認識する表示輝度に対応付けます。音声は固定サンプリングレートにリサンプリングし、多くの場合スペクトログラムに変換します。
学習データで適合し、すべてに適用する#
特徴量の平均や標準偏差、補完値、カテゴリ語彙など、前処理で使う統計量は学習用分割だけで計算して保存し、検証データ、テストデータ、本番データに変更せず適用します。分割前にデータセット全体から計算すると、テストセットの情報が学習入力に影響することになり、評価スコアを過大にするデータリークが発生します。scikit-learn Pipelineでは、fitに渡されたデータの内部でのみ前処理手順を適合させ、このルールを徹底できます。サービング時に別のリサイズ方法や異なる画像デコーダーなどを使って前処理を変えると、学習・サービング間のずれが生じ、オフラインでは高いスコアを出すモデルが本番環境では性能を落とすことがあります。
ビジョンモデルの画像前処理#
画像モデルでは、テンソルのレイアウトを固定する必要があります。OpenCVは画像を高さ × 幅 × チャンネルの8ビット整数配列としてBGR順でデコードしますが、PyTorchのネットワークはチャンネル優先のRGB順で浮動小数点テンソルをバッチ化した形式を想定しています。UltralyticsのYOLO26予測では、これらの手順が自動で実行されます。画像を歪ませずに長辺がimgsz(デフォルトは640ピクセル)になるようリサイズし、固定形状のエクスポート済みモデルでは値114のグレーのピクセルでパディングして640 × 640の正方形にします。PyTorchモデルでは32ピクセルのストライドの次の倍数までだけパディングします。さらに、BGRからRGBに変換し、配列をチャンネル優先に並べ替え、255で割ります。以下のOpenCVとNumPyのスクリプトは、正方形のレターボックス化を手作業で行います。
import urllib.request
import cv2
import numpy as np
# Download a sample photo and read it as a BGR uint8 array of shape (height, width, 3)
urllib.request.urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread("bus.jpg")
# Resize so the longer side is 640 pixels, keeping the aspect ratio
scale = 640 / max(image.shape[:2])
resized = cv2.resize(image, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)
# Letterbox: center the resized image on a 640x640 canvas of gray (114) padding
canvas = np.full((640, 640, 3), 114, dtype=np.uint8)
top, left = (640 - resized.shape[0]) // 2, (640 - resized.shape[1]) // 2
canvas[top : top + resized.shape[0], left : left + resized.shape[1]] = resized
# Reorder BGR to RGB and HWC to CHW, scale pixels to 0-1, and add a batch dimension
tensor = canvas[:, :, ::-1].transpose(2, 0, 1).astype(np.float32) / 255.0
batch = tensor[None]
print(f"{image.shape} uint8 -> {batch.shape} float32 in [{batch.min():.1f}, {batch.max():.1f}]")スクリプトは(1080, 810, 3) uint8 -> (1, 3, 640, 640) float32 in [0.0, 1.0]を出力します。1080 × 810の写真は、PyTorch 検出器が想定するレイアウトと値の範囲の単一画像バッチになり、左右それぞれ80ピクセルのグレーの余白で埋められます。
データ前処理と関連用語の違い#
- データラベリング: クラスやボックスなどの正解ターゲットを作成します。前処理では、そのターゲットを学習が読み込める数値形式に変換します。
- 特徴量エンジニアリング: 身長と体重の列からBMIを算出するように、ドメイン知識をもとに新しい入力変数を作成します。
- バッチ正規化: 学習時と推論時に中間活性化を標準化する、ネットワーク内のレイヤーです。前処理における入力の正規化は、データがネットワークに到達する前に一度だけ行います。
- データ拡張: 反転、色の変化、モザイクなどのランダムな変換を学習時だけ適用し、各サンプルの多様な複製を作成します。前処理は決定的で、学習時と推論時に同じ処理を行います。










