RAGとコンピュータービジョンによるAIアプリケーションの強化

ChatGPTやGeminiなどのAIツールを使って情報を探すことは、急速に一般的な方法になりつつあります。メッセージの下書き、ドキュメントの要約、質問への回答など、こうしたツールはより迅速で簡単な解決策を提供してくれることが多いです。

しかし、大規模言語モデル（LLMs）を何度か使ったことがあれば、その限界に気付いているでしょう。非常に具体的な質問や時間に左右される質問を入力すると、確信に満ちた態度で誤った回答を返すことがあります。

これは、スタンドアロンのLLMsが学習に使用したデータだけに依存しているためです。そのデータセット以外の最新情報や専門知識にはアクセスできません。その結果、回答が古かったり不正確だったりすることがあります。

この問題の解決に役立てるため、研究者たちは検索拡張生成（RAG）と呼ばれる手法を開発しました。RAGは、質問に回答する際に信頼できるソースから新しく関連性の高い情報を取得できるようにすることで、言語モデルを強化します。

この記事では、RAGの仕組みと、関連性の高い最新情報を取得することでAIツールをどのように強化するかを解説します。また、テキストだけでなく画像、レイアウト、視覚的に複雑なドキュメントもシステムが理解できるようにするために、人工知能の一分野であるコンピュータービジョンとRAGがどのように連携するかについても見ていきます。

検索拡張生成（RAG）を理解する#

AIチャットボットに質問するとき、私たちは通常、もっともらしく聞こえるだけの回答以上のものを期待します。理想的な回答は、明確で正確かつ本当に役立つものであるべきです。そのためには、AIモデルに言語能力だけでなく、適切な情報へのアクセスも必要です。特に、具体的なトピックや時間に左右されるトピックでは重要です。

RAGは、このギャップを埋めるのに役立つ手法です。言語モデルがテキストを理解して生成する能力と、外部ソースから関連情報を取得する能力を組み合わせます。モデルは学習データだけに依存するのではなく、回答を作成しながら、信頼できるナレッジベースから補足コンテンツを能動的に取得します。

図1. RAGの主なユースケース。画像：著者。

誰かに質問し、その人が回答する前に信頼できる参考資料を確認してくれるようなものだと考えるとよいでしょう。回答はその人自身の言葉で語られますが、最も関連性の高い最新情報に基づいています。

このアプローチにより、LLMsはユーザーの質問に対して、より完全で正確かつ適切に調整された回答を返せるようになります。そのため、正確性が本当に重要となる実際のアプリケーションで、はるかに信頼性が高くなります。

RAGの仕組み#

RAGは、検索と生成という2つの重要なステップを導入することで、大規模言語モデルの回答方法を強化します。まず、外部のナレッジベースから関連情報を検索します。次に、その情報を使って、適切に構成されたコンテキストを考慮した回答を生成します。

このプロセスの仕組みを理解するために、簡単な例を見てみましょう。AIアシスタントを使って個人の財務を管理し、その月の支出目標内に収まったかどうかを確認したいとします。

プロセスは、「今月は予算内に収まりましたか？」のような質問をアシスタントにするところから始まります。システムは、学習中に得た知識だけに頼るのではなく、retrieverを使って最新の財務記録（銀行取引明細や取引概要など）を検索します。そして、質問の意図を理解することに重点を置き、最も関連性の高い情報を集めます。

情報が取得されると、言語モデルが処理を引き継ぎます。質問と記録から取得したデータの両方を処理し、明確で役立つ回答を生成します。回答では生の詳細情報を列挙するのではなく、支出を要約し、目標を達成したかどうかの確認や主な支出項目の指摘など、直接的で意味のある洞察を提供します。

このアプローチにより、LLMは正確な回答だけでなく、実際の最新情報に基づいた回答も提供できます。そのため、静的な学習データだけを扱うモデルよりも、はるかに有用な体験を実現できます。

図2. RAGの仕組みを理解する。

マルチモーダルRAGシステムの必要性#

情報は必ずしもプレーンテキストで共有されるとは限りません。医療画像や図表から、プレゼンテーションスライド、スキャンしたドキュメントまで、視覚情報には重要な詳細が含まれていることがよくあります。主にテキストの読み取りと理解を目的に構築された従来のLLMsは、このようなコンテンツの処理に苦労することがあります。

しかし、RAGはコンピュータービジョンと組み合わせて、このギャップを埋めるために利用できます。両者を組み合わせることで、テキストと視覚情報の両方を扱えるマルチモーダルRAGシステムと呼ばれる構成になり、AIチャットボットがより正確で完全な回答を提供できるようになります。

このアプローチの中核となるのが、両方の種類の入力を処理し、推論できるよう設計された視覚言語モデル（VLMs）です。この構成では、RAGが大規模なデータソースから最も関連性の高い情報を取得し、コンピュータービジョンによって有効化されたVLMが画像、レイアウト、図表を解釈します。

これは、スキャンしたフォーム、医療レポート、プレゼンテーションスライドなど、テキストと視覚情報の両方に重要な詳細が含まれる実際のドキュメントで特に有用です。たとえば、表や段落とともに画像を含むドキュメントを分析する場合、マルチモーダルシステムは視覚要素を抽出し、それらが示す内容の要約を生成して、周囲のテキストと組み合わせることで、より完全で役立つ回答を提供できます。

図3. マルチモーダルRAGは画像とテキストを使用して、より良い回答を提供します。

視覚データに対するRAGの応用#

ここまでRAGとは何か、そしてコンピュータービジョンとどのように連携するかを説明してきました。次に、このアプローチがどのように利用されているかを示す実際の事例や研究プロジェクトを見ていきましょう。

VisRAGによる視覚的なドキュメントの理解#

財務レポートやスキャンした法務ドキュメントから洞察を抽出しようとしているとします。こうしたファイルには、テキストだけでなく、情報の説明に役立つ表、グラフ、レイアウトも含まれていることがよくあります。単純な言語モデルでは、これらの視覚要素を見落としたり誤って解釈したりして、不完全または不正確な回答につながる可能性があります。

VisRAGは、この課題に対処するために研究者が開発しました。これは、テキストだけを処理するのではなく、各ページを画像として扱うVLMベースのRAGパイプラインです。これにより、システムはコンテンツと視覚的な構造の両方を理解できます。その結果、ドキュメント内で最も関連性の高い部分を見つけ、より明確で正確かつドキュメント全体のコンテキストに基づいた回答を提供できます。

図4. VisRAGはドキュメントを画像として読み取り、テキストコンテンツとレイアウトを捉えることができます。

RAGによる視覚的な質問応答#

視覚的な質問応答（VQA）は、AIシステムが画像について質問に回答するタスクです。既存のVQAシステムの多くは、追加情報を検索せずに単一のドキュメントに関する質問へ回答することに重点を置いています。これはクローズド設定として知られています。

VDocRAGは、より現実的なアプローチを取るRAGフレームワークです。VQAに、まず関連ドキュメントを取得する機能を統合しています。これは、ユーザーの質問が多数のドキュメントのうちいずれかに該当する可能性があり、回答前にシステムが適切なドキュメントを見つける必要がある実際の状況で役立ちます。そのために、VDocRAGはVLMsを使ってドキュメントを画像として分析し、テキストと視覚的な構造の両方を保持します。

このため、VDocRAGはエンタープライズ検索、ドキュメント自動化、カスタマーサポートなどのアプリケーションで特に大きな効果を発揮します。マニュアルやポリシーファイルなど、レイアウトの理解が文字の読み取りと同じくらい重要な、複雑で視覚的に整形されたドキュメントから、チームが迅速に回答を抽出できるよう支援します。

図5. VDocRAGとLLMベースのソリューションの違い。

RAGによる画像キャプション生成の改善#

画像キャプション生成とは、画像内で何が起きているかを文章で説明することです。オンラインコンテンツをよりアクセシブルにすることから、画像検索の強化、コンテンツモデレーションやレコメンデーションシステムの支援まで、さまざまなアプリケーションで利用されています。

しかし、AIモデルにとって正確なキャプションの生成は必ずしも容易ではありません。画像がモデルの学習対象とは異なるものを示している場合は、特に困難になります。多くのキャプション生成システムは学習データに大きく依存しているため、見慣れないシーンに直面すると、曖昧または不正確なキャプションを生成することがあります。

この問題に取り組むため、研究者たちはRe-ViLMを開発しました。これは、画像キャプション生成に検索拡張生成（RAG）を取り入れる手法です。Re-ViLMはキャプションをゼロから生成するのではなく、データベースから類似した画像とテキストのペアを取得し、それらを使ってキャプションの出力を導きます。

この検索ベースのアプローチにより、モデルは関連性の高い例に基づいて説明を生成できるため、正確性と流暢さの両方が向上します。初期結果では、Re-ViLMが実例を使用することで、より自然でコンテキストを考慮したキャプションを生成し、曖昧または不正確な説明を減らせることが示されています。

図6. Re-ViLMは視覚とテキストの例を取得して画像キャプションを改善します。

視覚データの理解にRAGを使用するメリットとデメリット#

ここでは、視覚情報の取得と利用に検索拡張生成の手法を適用するメリットを簡単に紹介します。

• 強化された要約機能: 要約には、テキストだけでなく、視覚情報（グラフの傾向やインフォグラフィックの要素など）から得られる洞察も取り入れられます。
• より堅牢な検索と取得: 画像ベースの理解を使用することで、テキスト内にキーワードがない場合でも、検索ステップで関連性の高い視覚ページを特定できます。
• スキャン、手書き、または画像ベースのドキュメントへの対応: VLMsによって実現されるRAGパイプラインは、テキストのみのモデルでは読み取れないコンテンツを処理できます。

こうしたメリットがある一方で、RAGを使って視覚データを扱う際には、いくつかの制限にも注意する必要があります。主なものを以下に示します。

• 高いコンピューティング要件: 画像とテキストの両方を分析するには、より多くのメモリと処理能力が必要になるため、パフォーマンスが低下したりコストが増加したりする可能性があります。
• データプライバシーとセキュリティに関する懸念: 特に医療や金融などの分野では、視覚的なドキュメントに機密情報が含まれている可能性があり、検索や処理のワークフローが複雑になります。
• 推論時間の増加: 視覚処理によって複雑さが増すため、テキストのみのシステムと比較して、回答の生成に時間がかかることがあります。

主なポイント#

検索拡張生成は、外部ソースから関連性の高い最新情報を取得できるようにすることで、大規模言語モデルの質問への回答方法を改善しています。コンピュータービジョンと組み合わせると、こうしたシステムはテキストだけでなく、グラフ、表、画像、スキャンしたドキュメントなどの視覚コンテンツも処理できるため、より正確で包括的な回答につながります。

このアプローチにより、LLMsは複雑なドキュメントを扱う実際のタスクにより適したものになります。検索と視覚的理解を組み合わせることで、これらのモデルは多様な形式をより効果的に解釈し、実用的な日常の状況でより役立つ洞察を提供できます。

成長を続けるコミュニティにぜひご参加ください。GitHubリポジトリを探索して、AIについてさらに詳しく学びましょう。コンピュータービジョンプロジェクトを始める準備はできていますか？ライセンスオプションをご確認ください。ソリューションページで医療におけるAIと小売業におけるコンピュータービジョンについてさらに詳しくご覧いただけます。