コンピュータービジョンにおける合成データとは何か？概要
AIモデル学習のための合成データが、ヘルスケアやロボティクスなどの幅広い産業のコンピュータービジョンアプリケーションでどのように使用されているかを探求します。
データは常に、アナリティクスや人工知能（AI）などの分野における原動力となってきました。実際、データの収集、生成、利用の方法が、インテリジェントシステムの未来を形作っています。例えば、自動運転車は、交通標識から歩行者の動きに至るまで、数百万ものラベル付き画像やセンサー読み取りデータに依存して、道路を安全に走行する方法を学習しています。
この進歩を支える最も重要なデータタイプの1つは、特に自動運転車やセキュリティなどの分野において、画像や動画といった視覚データです。
特に、機械がこの視覚情報を解釈できるようにするAIの分野は、computer vision（コンピュータビジョン）と呼ばれています。これは、顔認識、交通標識検知、医療画像解析などのタスクをサポートし、人間と同じようにシステムが視覚入力を理解・分析できるようにするものです。
しかし、現実世界から大規模で高品質な視覚データセットを収集することは時間がかかり、コストも高く、プライバシーに関する懸念が生じることが少なくありません。そのため、研究者は合成データを活用するという概念を積極的に探求しています。
Synthetic data（合成データ）とは、現実世界の画像や動画を忠実に模倣した、人工的に生成された視覚データのことです。これは、3Dモデリング、コンピュータシミュレーション、そしてGenerative Adversarial Networks (GANs)（敵対的生成ネットワーク）のような生成AI手法を用いて作成されます。これらの手法は、実データからパターンを学習して、リアルな新しいサンプルを生成します。
合成データは、近い将来AI developmentにおいて重要な役割を果たすと期待されており、Gartnerは2030年までに現実世界のデータよりも不可欠な存在になると予測しています。本記事では、コンピュータビジョンの文脈における合成データとは何か、どのように生成されるのか、そして現実のどのようなシナリオに応用されているのかを探ります。それでは始めましょう！
Link to this sectionコンピュータビジョンにおける合成データとは？#
多様な環境や条件で物体を検知するためにvision AI modelをトレーニングしたいと仮定します。現実世界のデータだけに頼ることは困難であり、限界を感じることもあります。
一方、合成データを使用すれば、人工的に作成された多様な条件下にある物体を含む、適切なデータセットを作成できます。3D modelingやシミュレーションなどのツールを使用することで、開発者は照明、角度、物体の配置といった要素を正確に制御しながら画像を生成できます。これにより、現実世界のデータよりもモデルトレーニングの柔軟性が高まります。
合成データは、現実世界のデータの収集が困難または不可能な場合に特に役立ちます。例えば、走る、しゃがむ、横たわるなど、幅広い姿勢で人を認識するようにモデルをトレーニングするには、さまざまな設定、角度、照明条件で何千枚もの写真を撮影する必要があります。
その一方で、合成データを使用すれば、開発者はこれらのバリエーションを正確なラベル付きで簡単に生成できるため、時間と労力を節約しながらモデルのパフォーマンスを向上させることができます。
図1. さまざまな人の姿勢と照明の変化を伴う合成データセット (source)。
Link to this sectionAIにおける合成データ対実データ#
次に、合成データと実データの違いを詳しく見ていきましょう。training AI modelsにおいて、両者にはそれぞれメリットとデメリットがあります。
例えば、合成データは実データの収集が困難な場合に有用ですが、現実生活で見られるあらゆる細部を捉えきれない可能性があります。一方で、実データはより本物に近いですが、ソースを見つけるのが難しく、ラベル付けに時間がかかり、すべての状況を網羅できない場合があります。
合成データと実データを組み合わせることで、開発者は両方の良いとこ取りができます。このバランスにより、AIモデルはより正確に学習し、さまざまなシナリオでより優れた汎化能力を発揮し、バイアスを軽減できるようになります。
図2. AIにおける合成データ対実データ。画像は筆者による。
Link to this sectionコンピュータビジョンモデルのデータ生成についての考察#
3Dツールを使用した仮想世界の構築から、生成AIを使用した画像の生成まで、コンピュータビジョンモデル向けの合成training dataを作成するために使用される一般的な手法をいくつか紹介します。
- 3Dモデリング: 開発者は3Dソフトウェアを使用して、デジタルな物体やシーンを作成します。これにより、照明、カメラアングル、物体の配置などを完全に制御でき、人、乗り物、環境のリアルな画像を生成するのに役立ちます。
- シミュレーション: 物理ベースのエンジンを使用して、交通や工場の環境といった現実世界の状況を再現します。シミュレーションは、ロボット工学や自動運転車などの分野で安全にトレーニングデータを生成するのに役立ちます。
- 敵対的生成ネットワーク（GANs）: GANsは、画像を生成するネットワークと、それを評価するネットワークの2つで構成されるディープラーニングモデルの一種です。これらを組み合わせることで、実データから学習し、人の顔や街並みなど、非常にリアルな画像を生成します。
- プロシージャル生成: この手法は、定義済みのルールや数学モデルを使用して、地形、建物、テクスチャなどの複雑な視覚構造を自動的に生成します。多くの場合、ゲームやシミュレーションプラットフォームで使用され、最小限の人的入力で大規模かつ多様なデータセットを生成できます。
- ドメインランダム化: 合成シーン内の照明、色、物体の形状などをランダムに変更できます。この手法の目的は、モデルが真に重要なことに集中できるように支援し、現実世界の環境への適応性を高めることです。
図3. データ例: (a) 3Dモデルベース、(b) 合成マルチオブジェクトシーン、(c) 実データセットの画像 (source)。
Link to this section合成データを使用したビジョンAIモデルのトレーニング#
合成データの作成に使用されるさまざまな手法について説明しましたので、次はそれがAIモデルのトレーニングにどのように使用されるのかを見ていきましょう。
生成された合成データは、通常、実世界のデータと同じ方法でトレーニングパイプラインに直接統合できます。これには通常、物体ラベル、bounding boxes、セグメンテーションマスクなどの必要なアノテーションが含まれているため、手動のラベル付けを必要とせず、モデルがラベル付きの入力と出力のペアから学習する教師あり学習タスクに使用できます。
トレーニング中、モデルは合成画像を処理して、特徴の検知、パターンの認識、物体の分類を学習します。このデータは、モデルの初期バージョンをゼロから構築するため、あるいは既存のデータセットを拡充してモデルのパフォーマンスを向上させるために使用できます。
多くのワークフローにおいて、合成データは事前トレーニングにも使用され、モデルに広範な基礎知識を与えてから、実世界のデータでファインチューニングを行います。同様に、照明条件、角度、希少なオブジェクトクラスなど、制御されたバリエーションを導入することでデータセットを拡張し、汎化能力の向上と過学習の軽減を図るためにも使用されます。
合成データと実データを組み合わせることで、チームは時間とコストのかかる手動でのデータ収集作業への依存を減らしつつ、幅広い条件下で優れたパフォーマンスを発揮する、より堅牢なモデルをトレーニングできます。
Link to this sectionコンピュータビジョンにおける合成データの現実世界での応用#
合成データの実用性とアクセシビリティが高まるにつれ、さまざまな現実世界のビジョンAIユースケースで採用され始めています。現在活用されている、最も影響力のあるapplications in computer visionをいくつか見ていきましょう。
Link to this section自動運転車における物体検知のための合成データの利用#
自動運転車に安全な運転を教えるには、希少な状況や危険な状況を含む、幅広いシナリオでモデルをトレーニングする必要があります。しかし、こうしたエッジケースの現実世界のデータを収集することは難しく、時には安全でないこともあります。合成データは、モデルが困難な状況下で物体をdetectする方法を学習できるようなシーンを作成するのに役立ちます。また、すべての自動運転車が同じハードウェアを使用しているわけではないため、異なるセンサー構成を模倣することも可能です。
NVIDIA’s DRIVE Simプラットフォームは、この好例です。これは、フォトリアルな3Dモデル、仮想環境、センサーシミュレーションを使用して、高品質な合成データを作成します。また、単一の画像から複数の運転アングルの画像を生成することも可能です。このように合成データを使用することで、コストのかかる現実世界でのテストの必要性を減らしつつ、モデルが効果的に学習するために必要な多様性を提供できます。
図4. 単一の画像から複数の運転ビューを作成 (source)。
Link to this section合成データによる医療用AIのバイアス低減#
物体検知やインスタンスセグメンテーションといったタスクをサポートするUltralytics YOLO11のようなコンピュータビジョンモデルは、医療画像処理アプリケーション向けにカスタムトレーニングが可能です。しかし、現実世界のトレーニングデータには、すべての人口統計グループを適切に代表していない可能性があるため、バイアスが含まれることがよくあります。
例えば、skin cancerは肌の色が濃い人ほど診断される頻度が低く、そのためこれらの人口グループのデータが不足しています。この不均衡は、特に組織病理学、胸部X線、皮膚科学の分野において、誤診や不平等な医療結果を招く一因となります。
合成画像は、データにおけるこのギャップを埋めるためのステップとして役割を果たすことができます。さまざまな組織の異常、幅広い肺の疾患、異なる病変タイプを持つ肌の色など、追加的かつ多様なサンプルを生成することで、合成データは過小評価されているグループ全体でのモデルパフォーマンスを向上させるのに役立ちます。
現在、研究者はこれらの目標をサポートするために合成データセットの開発と検証に取り組んでいます。また、実際の患者記録に依存せずにtest medical toolsや治療戦略を評価するために合成データをどのように使用できるかを探究しており、患者のプライバシーを保護しつつ研究の加速を支援しています。この取り組みを通じて、合成データは、より包括的で正確、かつ倫理的な医療用AIシステムの道を切り拓いています。
Link to this section精密農業のための合成データによる農業AIの発展#
農業用アプリケーション向けのビジョンAIシステムを構築するには、大量のラベル付きデータへのアクセスが不可欠です。しかし、作物、病気、畑の状態の写真を収集してラベル付けすることは時間がかかり、コストも高く、さらに天候、生育期、特定の場所へのアクセスの難しさといった要因によって制限されることがよくあります。
こうした課題により、植物の病気の検知、monitoring crops、収穫予測などのタスクを処理するようにコンピュータビジョンモデルをトレーニングすることが難しくなっています。そこで合成データが役立ちます。さまざまな農業環境を模倣することで、有用なトレーニングサンプルを生成できるからです。
図5. 病気検知を向上させるための合成画像の使用 (source)。
Link to this section重要なポイント#
合成データの使用は、特に実世界のデータが限られている、あるいは取得が困難な分野のコンピュータビジョンシステムにとって、AIモデルのトレーニングにおける重要な一歩です。コストが高く、時間がかかり、プライバシーの懸念が生じる可能性のある実際の写真や動画のみに依存するのではなく、合成データを使用することで、リアルでラベル付けされた画像をオンデマンドで生成できます。
これにより、自動運転、病気の検知、作物モニタリングなどのタスクのためのビジョンAIモデルをトレーニングしやすくなります。AIの進化に伴い、合成データは、業界全体のイノベーションを加速させ、アクセシビリティを向上させる上で、これまで以上に大きな役割を果たすことになるでしょう。
AIの詳細については、GitHub repositoryをご覧になり、成長を続ける私たちのcommunityにご参加ください。AI in autonomous vehiclesやcomputer vision in agricultureといったアプリケーションの影響力をご確認ください。また、licensingオプションを検討し、ビジョンAIプロジェクトを立ち上げましょう。
