Synthetic Data Generation
合成データ生成では、シミュレーター、手続き型ルール、生成モデル、LLMを使って人工的な学習データを作成します。多くの場合、正確なラベルが付与されます。
合成データ生成とは、シミュレーター、手続き型ルール、生成モデルを使って人工の画像、動画、センサー読み取り値、表、テキストを作成し、機械学習モデルの学習やテストに利用できるようにするプロセスです。生成されたものが合成データです。生成プロセスでは、サンプルを作成する方法、ラベルの付与方法、各シーンに持たせる多様性、実データとの照合方法という4つの選択によって、データの品質が決まります。コンピュータービジョンでは、すべての物体を配置するジェネレーターが、その物体のデータアノテーションも正確かつ無料で作成できる点が大きな利点です。
主な生成方法#
シミュレーターはアセットから3Dシーンを構築し、照明、マテリアル、カメラを設定して画像をレンダリングします。シーンの記述にすべての位置が記録されているため、正確なマスク、深度マップ、バウンディングボックスも同時に生成できます。CARLAなどのオープンソース自動運転シミュレーターは、自動運転車向けにカメラ、LiDAR、レーダーのデータストリームを生成し、ロボティクスシミュレーターは把持やナビゲーション向けに同様のデータを生成します。ドメインランダム化では、レンダリングごとにテクスチャ、照明、姿勢を変化させることで、そこで学習したモデルが実際のカメラにも適応できるようにします。
手続き型生成では、完全なシーンの代わりにスクリプトとルールを使います。Carnegie Mellon Universityが2017年の論文「Cut, Paste and Learn」で広めた切り貼り合成では、セグメント化した物体の切り抜きを新しい背景に貼り付け、貼り付けた各ボックスをラベルとして記録します。最も単純な方法では、ランダムな位置に図形を描画し、ジェネレーターは描画時に各物体のラベルを書き込みます。
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")wrote 100 images with 256 exact box labelsを出力します。各行はYOLOラベル形式に従い、クラスとボックスの中心、幅、高さを画像サイズに対する比率で保存します。人間のアノテーターは一切必要ありません。
生成モデルは実データの特徴を学習し、そこから新しいサンプルを生成します。敵対的生成ネットワーク (GANs)と拡散モデルは、ノイズ、テキストプロンプト、参照画像から写実的な画像を生成します。また、ControlNetなどの条件付け手法を使うとレイアウトを固定できるため、物体の位置が既知のまま保たれます。このような条件付けがなければ、生成画像には後からラベルを付ける必要があります。表データの場合、統計的シンセサイザーはガウスコピュラ、ベイジアンネットワーク、またはCTGAN (NeurIPS 2019)などの条件付きGANを使って実データの同時分布を学習し、新しい行をサンプリングします。
大規模言語モデルは、指示、対話、コード演習、推論トレースなどのテキストデータを生成します。Microsoftは、13億パラメーターのコードモデルであるphi-1を、フィルタリング済みウェブテキスト60億トークンと、GPT-3.5が作成した教科書および演習の10億トークンで学習させ、HumanEvalベンチマークで50.6%のpass@1を達成しました。
手法の選択と検証#
手法はデータに含める必要がある内容によって決まり、どの手法も最後に実データとの照合を行います。
生成データだけ、または実データと混合したデータでモデルをトレーニングし、ホールドアウトした実際のテストデータだけで評価します。たとえば、Ultralyticsによる欠陥検出向けNVIDIA Cosmos合成データのベンチマークがこれに当たります。合成データの割合を増やすにつれて実画像の正解率が下がる場合、生成器のリアリティまたはカバレッジに不足があります。Fréchet Inception Distance(FID)などの画像レベルのスコアは、その問題の特定に役立ちます。実データでトレーニングされた生成器はデータを記憶することもあるため、プライバシーに配慮したパイプラインでは生成レコードを元データと照合し、トレーニングに差分プライバシーを加える場合もあります。
Ultralytics Platformでは、類似画像を生成アクションを通じてデータセット管理に画像生成機能を追加できます。データセットから画像を選ぶと、それに着想を得た新しいシーンの説明を作成し、各説明からUltralytics Image 4Bモデルで画像を生成します。デフォルトでは一度に1~16枚を生成し、照明、視点、背景、物体など、変更する要素について任意の指示を適用できます。採用した画像はラベルなしでデータセットに追加され、アノテーションできる状態になります。










