YOLOのライセンス
Ultralytics用語集に戻る

Synthetic Data Generation

合成データ生成では、シミュレーター、手続き型ルール、生成モデル、LLMを使って人工的な学習データを作成します。多くの場合、正確なラベルが付与されます。

合成データ生成とは、シミュレーター、手続き型ルール、生成モデルを使って人工の画像、動画、センサー読み取り値、表、テキストを作成し、機械学習モデルの学習やテストに利用できるようにするプロセスです。生成されたものが合成データです。生成プロセスでは、サンプルを作成する方法、ラベルの付与方法、各シーンに持たせる多様性、実データとの照合方法という4つの選択によって、データの品質が決まります。コンピュータービジョンでは、すべての物体を配置するジェネレーターが、その物体のデータアノテーションも正確かつ無料で作成できる点が大きな利点です。

主な生成方法#

シミュレーターはアセットから3Dシーンを構築し、照明、マテリアル、カメラを設定して画像をレンダリングします。シーンの記述にすべての位置が記録されているため、正確なマスク、深度マップ、バウンディングボックスも同時に生成できます。CARLAなどのオープンソース自動運転シミュレーターは、自動運転車向けにカメラ、LiDAR、レーダーのデータストリームを生成し、ロボティクスシミュレーターは把持やナビゲーション向けに同様のデータを生成します。ドメインランダム化では、レンダリングごとにテクスチャ、照明、姿勢を変化させることで、そこで学習したモデルが実際のカメラにも適応できるようにします。

手続き型生成では、完全なシーンの代わりにスクリプトとルールを使います。Carnegie Mellon Universityが2017年の論文「Cut, Paste and Learn」で広めた切り貼り合成では、セグメント化した物体の切り抜きを新しい背景に貼り付け、貼り付けた各ボックスをラベルとして記録します。最も単純な方法では、ランダムな位置に図形を描画し、ジェネレーターは描画時に各物体のラベルを書き込みます。

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

wrote 100 images with 256 exact box labelsを出力します。各行はYOLOラベル形式に従い、クラスとボックスの中心、幅、高さを画像サイズに対する比率で保存します。人間のアノテーターは一切必要ありません。

生成モデルは実データの特徴を学習し、そこから新しいサンプルを生成します。敵対的生成ネットワーク (GANs)と拡散モデルは、ノイズ、テキストプロンプト、参照画像から写実的な画像を生成します。また、ControlNetなどの条件付け手法を使うとレイアウトを固定できるため、物体の位置が既知のまま保たれます。このような条件付けがなければ、生成画像には後からラベルを付ける必要があります。表データの場合、統計的シンセサイザーはガウスコピュラ、ベイジアンネットワーク、またはCTGAN (NeurIPS 2019)などの条件付きGANを使って実データの同時分布を学習し、新しい行をサンプリングします。

大規模言語モデルは、指示、対話、コード演習、推論トレースなどのテキストデータを生成します。Microsoftは、13億パラメーターのコードモデルであるphi-1を、フィルタリング済みウェブテキスト60億トークンと、GPT-3.5が作成した教科書および演習の10億トークンで学習させ、HumanEvalベンチマークで50.6%のpass@1を達成しました。

手法の選択と検証#

手法はデータに含める必要がある内容によって決まり、どの手法も最後に実データとの照合を行います。

生成データだけ、または実データと混合したデータでモデルをトレーニングし、ホールドアウトした実際のテストデータだけで評価します。たとえば、Ultralyticsによる欠陥検出向けNVIDIA Cosmos合成データのベンチマークがこれに当たります。合成データの割合を増やすにつれて実画像の正解率が下がる場合、生成器のリアリティまたはカバレッジに不足があります。Fréchet Inception Distance(FID)などの画像レベルのスコアは、その問題の特定に役立ちます。実データでトレーニングされた生成器はデータを記憶することもあるため、プライバシーに配慮したパイプラインでは生成レコードを元データと照合し、トレーニングに差分プライバシーを加える場合もあります。

Ultralytics Platformでは、類似画像を生成アクションを通じてデータセット管理に画像生成機能を追加できます。データセットから画像を選ぶと、それに着想を得た新しいシーンの説明を作成し、各説明からUltralytics Image 4Bモデルで画像を生成します。デフォルトでは一度に1~16枚を生成し、照明、視点、背景、物体など、変更する要素について任意の指示を適用できます。採用した画像はラベルなしでデータセットに追加され、アノテーションできる状態になります。

  • データ拡張: 学習中に反転、クロップ、色調変更などを行って既存の実サンプルを変換するため、各出力は1つの元データに対応します。
  • 生成AI: コンテンツを作成するモデルを扱う、より広い分野です。生成モデルは、シミュレーターや手続き型ルールと並ぶ合成データの生成元の1つです。
  • 合成データ: 生成によって作られるデータセットです。実データへの忠実度、学習への有用性、プライバシーの保持という観点から評価されます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう