RAGとコンピュータ・ビジョンによるAIアプリケーションの強化

ChatGPTやGeminiのようなAIツールを使うことは、情報を見つけるための一般的な方法に急速になりつつある。メッセージの下書きであれ、文書の要約であれ、質問への回答であれ、これらのツールはしばしば、より迅速で簡単な解決策を提供してくれる。 

しかし、大規模言語モデル（LLM）を何度か使ったことがある人なら、その限界に気づいていることだろう。非常に特殊な、あるいは時間的制約のあるクエリを求められたとき、LLMはしばしば自信満々に、誤った答えを返すことがある。

これは、スタンドアローンのLLMが、訓練されたデータのみに依存しているために起こる。彼らはそのデータセット以外の最新の更新情報や専門的な知識にはアクセスできない。その結果、彼らの回答は古かったり不正確だったりする。

これを解決するために、研究者たちは検索補強世代（RAG）と呼ばれる方法を開発した。RAGは、クエリに応答する際に、信頼できるソースから新鮮で関連性の高い情報を取り込めるようにすることで、言語モデルを強化する。

この記事では、RAGがどのように機能し、関連する最新の情報を取得することでAIツールをどのように強化するのかを探ります。また、テキストだけでなく、画像、レイアウト、視覚的に複雑な文書をシステムが理解するのを助けるために、視覚データの解釈に焦点を当てた人工知能の分野であるコンピュータ・ビジョンとどのように連携するのかについても見ていく。

検索補強世代（RAG）を理解する

AIチャットボットに質問をするとき、私たちは一般的に、単に聞こえの良い回答以上のものを期待します。理想的には、良い回答は明確で、正確で、本当に役立つものであるべきです。それを実現するために、AIモデルには言語スキルだけでなく、適切な情報へのアクセス、特に特定のトピックや一刻を争うトピックへのアクセスも必要です。

RAGは、このギャップを埋めるのに役立つテクニックである。RAGは、テキストを理解し生成する言語モデルの能力を、外部ソースから関連情報を取得する能力と組み合わせる。学習データだけに頼るのではなく、信頼できる知識ベースから支援コンテンツを積極的に取り込みながら応答を形成する。

‍

誰かに質問をして、回答する前に信頼できる文献を参照させるようなものだと考えればいい。相手の答えは自分の言葉であることに変わりはないが、最も適切で最新の情報に基づいたものである。

このアプローチにより、LLMはより完全で正確な、ユーザーのクエリに合わせた回答を返すことができるようになり、正確さが真に重要な実世界のアプリケーションにおいて、はるかに信頼性の高いものとなる。

RAGの仕組み

RAGは、検索と生成という2つの重要なステップを導入することで、大規模な言語モデルがどのように反応するかを強化する。まず、外部の知識ベースから関連情報を検索する。次に、その情報を使って、文脈を考慮した整形式の応答を生成する。

このプロセスがどのように機能するか、簡単な例を見てみよう。AIアシスタントを使って個人的な財務管理をしていて、今月の支出目標が達成できたかどうかをチェックしたいとします。

このプロセスは、あなたがアシスタントに "今月は予算を守れたか？"といった質問をするところから始まる。このシステムは、トレーニング中に学んだことだけに頼るのではなく、リトリーバーを使って、あなたの最新の財務記録（銀行取引明細書や取引サマリーなど）を検索する。質問の背後にある意図を理解することに集中し、最も関連性の高い情報を収集します。

その情報が検索されると、言語モデルが引き継ぎます。あなたの質問と記録から取り出したデータの両方を処理し、明確で役に立つ回答を生成します。生の詳細を列挙するのではなく、回答はあなたの支出を要約し、目標を達成したかどうかの確認や重要な支出分野の指摘など、直接的で意味のある洞察を与えます。

このアプローチにより、LLMは正確なだけでなく、あなたの実際の最新情報に基づいた回答を提供することができ、静的なトレーニングデータのみで動作するモデルよりもはるかに有用な経験となる。

‍

マルチモーダルRAGシステムの必要性

通常、情報は必ずしもプレーンテキストで共有されるとは限りません。医療スキャンや図表から、プレゼンテーションのスライドやスキャン文書に至るまで、ビジュアルはしばしば重要な詳細を伝える。従来のLLMは、主にテキストを読んで理解するように作られているため、このようなコンテンツに苦労することがあります。

しかし、RAGはそのギャップを埋めるためにコンピュータ・ビジョンと一緒に使うことができる。この2つを組み合わせると、マルチモーダルRAGシステムと呼ばれる、テキストとビジュアルの両方を扱うことができるセットアップが形成され、AIチャットボットがより正確で完全な回答を提供できるようになる。

このアプローチの核となるのは視覚言語モデル（VLM）であり、両タイプの入力を処理して推論するように設計されている。このセットアップでは、RAGが大規模なデータソースから最も関連性の高い情報を取得し、VLMはコンピュータビジョンによって画像、レイアウト、ダイアグラムを解釈する。

これは、重要な詳細がテキストとビジュアルの両方にあるような、スキャンされたフォーム、医療レポート、プレゼンテーションスライドのような、実世界の文書に特に有用である。例えば、表や段落とともに画像を含む文書を分析する場合、マルチモーダルシステムは視覚的要素を抽出し、それらが示すものの要約を生成し、それを周囲のテキストと組み合わせることで、より完全で有用な回答を提供することができる。

‍

RAGのビジュアル・データへの応用 

RAGとは何か、そしてRAGがコンピュータ・ビジョンとどのように連動するのかを説明したところで、このアプローチがどのように使われているかを示す実例と研究プロジェクトを見てみよう。

VisRAGでビジュアル文書を理解する

例えば、財務報告書やスキャンした法的文書から洞察を引き出そうとしているとしましょう。これらのタイプのファイルには、テキストだけでなく、情報の説明に役立つ表、グラフ、レイアウトが含まれていることがよくあります。単純な言語モデルでは、これらの視覚的要素を見落としたり、誤解したりする可能性があり、不完全または不正確な回答につながります。

VisRAGは、この課題を解決するために研究者によって作られた。VLMベースのRAGパイプラインで、テキストのみを処理するのではなく、各ページを画像として扱う。これにより、システムはコンテンツとその視覚的構造の両方を理解することができる。その結果、最も関連性の高い部分を見つけ、より明確で正確な、文書の完全な文脈に基づいた回答を与えることができる。

‍

RAGによる視覚的な質問回答

視覚的質問応答（VQA）は、AIシステムが画像に関する質問に答えるタスクである。既存のVQAシステムの多くは、追加情報を検索する必要なく、1つの文書に関する質問に答えることに重点を置いている。

VDocRAGは、より現実的なアプローチをとるRAGフレームワークである。VQAと関連文書を最初に検索する機能を統合している。これは、ユーザーの質問が多くの文書のうちの1つに該当する可能性があり、システムが回答の前に適切な文書を見つける必要があるような実世界の状況において有用である。これを実現するために、VDocRAGはVLMを使って文書を画像として解析し、テキストと視覚構造の両方を保持する。

そのため、VDocRAGはエンタープライズサーチ、ドキュメントオートメーション、カスタマーサポートのようなアプリケーションで特に威力を発揮する。VDocRAGは、マニュアルやポリシーファイルのような、レイアウトを理解することが文字を読むことと同じくらい重要であるような、複雑で視覚的にフォーマットされたドキュメントから素早く答えを抽出する手助けをします。

‍

RAGによる画像キャプションの改善

画像キャプションは、画像に何が起こっているかを説明する文章を生成することです。オンラインコンテンツをより利用しやすくしたり、画像検索を強化したり、コンテンツモデレーションやレコメンデーションシステムをサポートしたりと、さまざまな用途で使用されている。

しかし、AIモデルにとって、正確なキャプションを生成することは必ずしも容易ではない。特に、モデルが学習したものとは異なる画像が表示された場合は難しい。多くのキャプションシステムは学習データに大きく依存しているため、見慣れないシーンに直面すると、キャプションが曖昧になったり、不正確になったりする。

この問題に取り組むため、研究者たちは画像キャプションに検索拡張生成（RAG）を導入する手法、Re-ViLMを開発した。Re-ViLMは、キャプションをゼロから生成するのではなく、類似画像とテキストのペアをデータベースから検索し、キャプション出力のガイドとして使用する。 

この検索に基づくアプローチは、モデルが関連する実例に基づいた説明を行うのに役立ち、正確さと流暢さの両方を向上させる。初期の結果では、Re-ViLMは実際の例を使用することで、より自然で文脈を意識したキャプションを生成し、曖昧で不正確な説明を減らすのに役立っている。

‍

ビジュアル・データを理解するためにRAGを使用することの長所と短所

ここでは、視覚情報を検索して利用するために、検索拡張世代技術を適用することの利点を簡単に紹介する： 

• 強化 要約機能 機能：
  ‍ テキストだけでなく、ビジュアル（チャートの傾向やインフォグラフィッ クの要素など）からの洞察を要約に取り入れることができます。
• よりロバストな検索と取得：
  ‍ 検索ステップは、テキストにキーワードが存在しない場合でも、画像ベースの理解を使用して、関連するビジュアルページを特定することができます。
• スキャン、手書き、画像ベースのドキュメントをサポート：VLMが可能にするRAGパイプラインは、テキストのみのモデルでは読めないようなコンテンツを処理することができます。

このような利点があるにもかかわらず、ビジュアル・データを扱うためにRAGを使用する際に注意しなければならない制限がいくつかあります。主なものをいくつか紹介しよう：

• 高いコンピューティング要件：画像とテキストの両方を分析する場合、より多くのメモリと処理能力を使用するため、パフォーマンスが低下したり、コストが増加する可能性がある。
  ‍
• データプライバシー とセキュリティの懸念 ビジュアル文書、特に医療や金融などの分野では、検索や処理ワークフロ ーを複雑にする機密情報が含まれている場合があります。
  ‍
• 推論時間が長い：視覚処理は複雑さを増すため、テキストのみのシステムに比べ、応答の生成に時間がかかることがある。

要点

検索拡張世代は、大規模な言語モデルが外部ソースから関連する最新の情報を取得できるようにすることで、質問に回答する方法を向上させている。コンピュータ・ビジョンと組み合わせることで、これらのシステムはテキストだけでなく、図表、画像、スキャン文書などの視覚的コンテンツも処理できるようになり、より正確で充実した回答につながります。

このアプローチにより、LLMは複雑な文書を含む実世界のタスクにより適している。検索と視覚的理解を結びつけることで、これらのモデルは多様なフォーマットをより効果的に解釈し、実用的で日常的な文脈でより有用な洞察を提供することができる。

成長中のコミュニティに参加しよう！GitHub リポジトリを探索して、AI を深く掘り下げましょう。独自のコンピュータビジョンプロジェクトを始める準備はできていますか？ライセンスオプションをご覧ください。ヘルスケアにおけるAIと 小売業におけるコンピュータビジョンの詳細については、ソリューションのページをご覧ください！