コンピュータービジョンにおける合成データとは何か？概要

データは常に、アナリティクスや人工知能（AI）などの分野における原動力となってきました。実際、データの収集、生成、利用の方法が、インテリジェントシステムの未来を形作っています。例えば、自動運転車は、交通標識から歩行者の動きに至るまで、数百万ものラベル付き画像やセンサー読み取りデータに依存して、道路を安全に走行する方法を学習しています。

この進歩を支える最も重要なデータタイプの1つは、特に自動運転車やセキュリティなどの分野において、画像や動画といった視覚データです。

特に、機械がこの視覚情報を解釈できるようにするAIの分野はcomputer visionと呼ばれています。人間のように視覚入力を理解して分析するのに役立ち、顔認証、交通標識の検出、医療画像解析などのタスクをサポートします。

しかし、現実世界から大規模で高品質な視覚データセットを収集することは時間がかかり、コストも高く、プライバシーに関する懸念が生じることが少なくありません。そのため、研究者は合成データを活用するという概念を積極的に探求しています。

Synthetic dataとは、現実世界の画像や動画を極めて忠実に模倣した、人工的に生成された視覚データのことを指します。3Dモデリング、コンピュータシミュレーション、およびGenerative Adversarial Networks (GANs)などの生成AIの手法を使用して作成されます。これらは実際のデータからパターンを学習し、リアルな新しい例を生成します。

Synthetic dataは、AI developmentにおいてまもなく極めて重要な役割を果たすことが期待されており、Gartnerは2030年までに現実世界のデータよりも不可欠なものになると予測しています。この記事では、computer visionの文脈におけるSynthetic dataとは何か、どのように生成されるのか、そして現実世界のシナリオでどのように適用されているかを探ります。それでは始めましょう！

コンピュータビジョンにおける合成データとは？#

vision AI modelをトレーニングして、多様な環境や条件で物体を検出させたいとします。現実世界のデータだけに頼るのは難しく、時には限界を感じることもあります。

一方、Synthetic dataを使用すれば、人工的に作成されたさまざまな条件下のオブジェクトを含む適切なデータセットを作成できます。3D modelingやシミュレーションなどのツールを使用することで、開発者は照明、角度、オブジェクトの配置などの要素を正確に制御しながら画像を生成できます。これにより、現実世界のデータよりもモデルのトレーニングに対する柔軟性が高まります。

合成データは、現実世界のデータの収集が困難または不可能な場合に特に役立ちます。例えば、走る、しゃがむ、横たわるなど、幅広い姿勢で人を認識するようにモデルをトレーニングするには、さまざまな設定、角度、照明条件で何千枚もの写真を撮影する必要があります。

その一方で、合成データを使用すれば、開発者はこれらのバリエーションを正確なラベル付きで簡単に生成できるため、時間と労力を節約しながらモデルのパフォーマンスを向上させることができます。

図1：さまざまな人物のポーズと照明の変化を含むSynthetic dataセット（source）。

AIにおける合成データ対実データ#

次に、Synthetic dataと実際のデータの違いについて詳しく見ていきましょう。training AI modelsに関して、どちらにも長所と短所があります。

例えば、合成データは実データの収集が困難な場合に有用ですが、現実生活で見られるあらゆる細部を捉えきれない可能性があります。一方で、実データはより本物に近いですが、ソースを見つけるのが難しく、ラベル付けに時間がかかり、すべての状況を網羅できない場合があります。

合成データと実データを組み合わせることで、開発者は両方の良いとこ取りができます。このバランスにより、AIモデルはより正確に学習し、さまざまなシナリオでより優れた汎化能力を発揮し、バイアスを軽減できるようになります。

図2. AIにおける合成データ対実データ。画像は筆者による。

コンピュータビジョンモデルのデータ生成についての考察#

3Dツールを使用した仮想世界の構築から、生成AIを使用した画像の生成まで、computer visionモデル用のsynthetic training dataを作成するために使用される一般的な手法をいくつか紹介します。

• 3Dモデリング: 開発者は3Dソフトウェアを使用して、デジタルな物体やシーンを作成します。これにより、照明、カメラアングル、物体の配置などを完全に制御でき、人、乗り物、環境のリアルな画像を生成するのに役立ちます。
• シミュレーション: 物理ベースのエンジンを使用して、交通や工場の環境といった現実世界の状況を再現します。シミュレーションは、ロボット工学や自動運転車などの分野で安全にトレーニングデータを生成するのに役立ちます。
• 敵対的生成ネットワーク（GANs）: GANsは、画像を生成するネットワークと、それを評価するネットワークの2つで構成されるディープラーニングモデルの一種です。これらを組み合わせることで、実データから学習し、人の顔や街並みなど、非常にリアルな画像を生成します。
• プロシージャル生成: この手法は、定義済みのルールや数学モデルを使用して、地形、建物、テクスチャなどの複雑な視覚構造を自動的に生成します。多くの場合、ゲームやシミュレーションプラットフォームで使用され、最小限の人的入力で大規模かつ多様なデータセットを生成できます。
• ドメインランダム化: 合成シーン内の照明、色、物体の形状などをランダムに変更できます。この手法の目的は、モデルが真に重要なことに集中できるように支援し、現実世界の環境への適応性を高めることです。

図3：データの例：（a）3Dモデルベース、（b）syntheticなマルチオブジェクトシーン、（c）実際のデータセットの画像（source）。

合成データを使用したビジョンAIモデルのトレーニング#

合成データの作成に使用されるさまざまな手法について説明しましたので、次はそれがAIモデルのトレーニングにどのように使用されるのかを見ていきましょう。

生成された合成データは、通常、実世界のデータと同じ方法でトレーニングパイプラインに直接統合できます。これには通常、物体ラベル、bounding boxes、セグメンテーションマスクなどの必要なアノテーションが含まれているため、手動のラベル付けを必要とせず、モデルがラベル付きの入力と出力のペアから学習する教師あり学習タスクに使用できます。

トレーニング中、モデルは合成画像を処理して、特徴の検知、パターンの認識、物体の分類を学習します。このデータは、モデルの初期バージョンをゼロから構築するため、あるいは既存のデータセットを拡充してモデルのパフォーマンスを向上させるために使用できます。

多くのワークフローにおいて、合成データは事前トレーニングにも使用され、モデルに広範な基礎知識を与えてから、実世界のデータでファインチューニングを行います。同様に、照明条件、角度、希少なオブジェクトクラスなど、制御されたバリエーションを導入することでデータセットを拡張し、汎化能力の向上と過学習の軽減を図るためにも使用されます。

合成データと実データを組み合わせることで、チームは時間とコストのかかる手動でのデータ収集作業への依存を減らしつつ、幅広い条件下で優れたパフォーマンスを発揮する、より堅牢なモデルをトレーニングできます。

コンピュータビジョンにおける合成データの現実世界での応用#

Synthetic dataがより実用的でアクセスしやすくなるにつれて、さまざまな現実世界のビジョンAIのユースケースで採用されるようになってきています。それが使用されている最もインパクトのあるapplications in computer visionの一部を探ってみましょう。

自動運転車における物体検知のための合成データの利用#

自動運転車に安全な運転を教えるには、稀な状況や危険な状況など、幅広いシナリオでモデルをトレーニングする必要があります。しかし、こうしたエッジケースの現実世界データを収集することは困難であり、時には安全ではない場合もあります。Synthetic dataは、困難な状況でモデルがオブジェクトをdetectすることを学習できるシーンを作成するのに役立ちます。また、すべての自動運転車が同じハードウェアを使用しているわけではないため、さまざまなセンサー構成を模倣することもできます。

NVIDIA’s DRIVE Simプラットフォームはその好例です。フォトリアルな3Dモデル、仮想環境、センサーシミュレーションを使用して、高品質なSynthetic dataを作成します。また、1つの画像から複数の運転アングルの画像を生成することもできます。このようにSynthetic dataを使用することで、高価な現実世界でのテストの必要性を減らしながら、モデルの効果的な学習に必要な多様性を与えることができます。

図4：1つの画像から複数の運転ビューを作成する（source）。

合成データによる医療用AIのバイアス低減#

物体検出やインスタンスセグメンテーションなどのタスクをサポートするUltralytics YOLO11のようなcomputer visionモデルは、医療画像アプリケーション向けにカスタムトレーニングすることができます。しかし、現実世界のトレーニングデータには、すべてのデモグラフィックグループの患者を適切に代表していない可能性があるため、多くの場合バイアスが含まれています。

たとえば、skin cancerは肌の色が濃い人で診断される頻度が低く、それらの集団のデータが限られる原因となっています。この不均衡は、組織病理学、胸部X線、皮膚科学などの分野において、誤診や不平等な医療結果につながる可能性があります。

合成画像は、データにおけるこのギャップを埋めるためのステップとして役割を果たすことができます。さまざまな組織の異常、幅広い肺の疾患、異なる病変タイプを持つ肌の色など、追加的かつ多様なサンプルを生成することで、合成データは過小評価されているグループ全体でのモデルパフォーマンスを向上させるのに役立ちます。

研究者たちは現在、これらの目標をサポートするためのSynthetic dataセットの開発と検証に取り組んでいます。また、実際の患者のカルテに頼ることなく、Synthetic dataを使用してtest medical toolsや治療戦略を行う方法についても探求しており、患者のプライバシーを保護しながら研究を加速させるのに役立っています。この取り組みを通じて、Synthetic dataは、より包括的で正確、かつ倫理的な医療AIシステムへの道を切り拓いています。

精密農業のための合成データによる農業AIの発展#

農業用アプリケーション向けのビジョンAIシステムを構築するには、大量のラベル付きデータへのアクセスが不可欠です。しかし、作物、病気、畑の状態の写真を収集してラベル付けすることは時間がかかり、コストも高く、さらに天候、生育期、特定の場所へのアクセスの難しさといった要因によって制限されることがよくあります。

これらの課題があるため、植物の病気の検出、monitoring crops、収穫量の予測などのタスクを処理できるようにcomputer visionモデルをトレーニングすることは困難になっています。そこでSynthetic dataが役立ちます。さまざまな農業環境を模倣して、有用なトレーニング用の例を生成することができるのです。

図5：病気の検出精度を向上させるためのsynthetic画像の使用（source）。

重要なポイント#

合成データの使用は、特に実世界のデータが限られている、あるいは取得が困難な分野のコンピュータビジョンシステムにとって、AIモデルのトレーニングにおける重要な一歩です。コストが高く、時間がかかり、プライバシーの懸念が生じる可能性のある実際の写真や動画のみに依存するのではなく、合成データを使用することで、リアルでラベル付けされた画像をオンデマンドで生成できます。

これにより、自動運転、病気の検知、作物モニタリングなどのタスクのためのビジョンAIモデルをトレーニングしやすくなります。AIの進化に伴い、合成データは、業界全体のイノベーションを加速させ、アクセシビリティを向上させる上で、これまで以上に大きな役割を果たすことになるでしょう。

AIの詳細については、GitHub repositoryをご覧いただき、成長を続けるcommunityにご参加ください。AI in autonomous vehiclesやcomputer vision in agricultureなどのアプリケーションの影響を発見してください。licensingオプションを確認し、ビジョンAIプロジェクトを実現させましょう。