本ページは、機械翻訳を利用しています。本ページの記載内容とオリジナルの英語ページの記載内容に齟齬がある場合は、英語ページの記載内容が優先します。ご参考のために掲載するものであり、それ以外の目的のためのご利用や法的効力を生じさせることを意図しておりません。
検索拡張生成(RAG)は、大規模言語モデル(LLM)の出力の精度と関連性を向上させる技術です。これは、外部の情報検索システムからのデータと、しばしば大幅に古くなっている可能性のあるLLM(ローカルリストマップ)を組み合わせることによって実現されます。
例えば、最近ではChatGPTの知識範囲は2022年初頭までしか及んでいませんでした。他のプログラムによって強化されていなければ、ごく最近のことや新しいことについて質問した場合、その回答を信頼することはできないだろう。RAGは、生成型AIモデルの不足部分を補うのに役立つプログラムの一つです。
RAGは、顧客サービスシステム、サポートチャットボット、プロジェクト管理フレームワーク、Q&Aシステムなど、さまざまなLLM成果物の関連性と信頼性を向上させるためによく使用されます。
LLM(法学修士)の学生は、データが入手できない場合に推論するように教えられるだけでなく、情報が古くなっていることが多い。この推論は「幻覚」と呼ばれ、一見正当に見えるものの、実際には全くの誤った情報を生み出す可能性がある。
検索拡張生成は、外部検索システムからの情報でLLMの知識バンクを強化することにより、これらの問題を解決できる。外部データは最新の文脈情報を提供し、LLM(法学修士)が特定のトピックや疑問に関する事実をより深く理解することを可能にする。RAGを用いることで、LLMを再学習させることなく、正確かつ関連性の高い出力を得ることが可能になります。これは、自社組織のデータを使ってLLM(法務学習マネージャー)を育成する場合に特に役立ちます。
RAGの仕組みを説明するために、ユーザーからの質問に答えるChatGPTのようなシステムを考えてみましょう。ユーザーが質問を入力するとすぐに、システムが作動を開始する。(簡略化した)手順は以下のとおりです。
情報検索– AIシステムはテキストベースのクエリをモデルに送信し、モデルはそれを数値であり、ベクトルと呼ばれることもある機械語コードに変換します。このベクトルは、自身のコードを、ウェブページ、データベース、その他の既存の知識バンクといった外部情報源の、機械でコード化された既存のインデックスと比較します。
データ前処理– システムがクエリトピックに関連する情報を外部ソースで見つけると、そのデータを取得し、人間が読めるテキストに変換し、LLMに送信します。
データ統合– LLMは取得したデータを解析し、独自の内部知識ベースと組み合わせることで、ユーザーに対する完全な回答を生成します。システムによっては、回答に含まれるデータの一部について、外部の情報源を引用する場合もあります。
継続的な更新– ベクトルが作成され、関連する外部データが LLM に配信されると、バックグラウンドで処理を継続し、インデックスの継続的な更新を作成できます。これにより、LLM(法学修士)課程の学生は常に最新の情報にアクセスできるようになります。
上記のように機能するためには、検索拡張生成システムはまず取り込みフェーズを経る必要がある。ここでシステムは外部の情報源にアクセスし、そのインデックス、つまりライブラリを作成します。こうした作業の多くは事前に行われるが、検索拡張生成システムの中には、データベースへのクエリ(検索や分析が容易)、API呼び出し(異なるアプリケーションやプラットフォームに含まれるデータへのアクセスを可能にする)、ウェブページのスクレイピングなどによって、外部情報や情報源をリアルタイムで見つけることができるものもある。
検索機能を強化した生成は、LLMの出力を最新かつ関連性の高いものに保つための重要な要素である。LLM(法学修士)取得者はその分野で非常に優秀だが、限界もある。これらには以下が含まれます。
適切なデータが不足している場合に、回答をでっち上げる。
あまりにも一般的すぎる情報や、時代遅れの情報を提供する。
信頼できる情報源をどのように見分けるか、正確には分からない。
トレーニングプロセスにおいて用語の混乱が生じる可能性がある。なぜなら、異なるトレーニングシステムでは、同じ概念に対して異なる用語が使用される場合があるからだ。
RAGがなければ、LLMの知識蓄積は特定の期間に限定されるか、LLMは継続的な再教育を必要とし、それには時間と費用がかかるだろう。RAGを活用することで、LLMはよりインテリジェントで多用途になり、AIベースのコンテンツ作成から複雑な仮想アシスタント、カスタマーサービスセンターの高度なチャットボットまで、あらゆる分野でより優れた総合的な成果を提供します。
クラウドがなければ、検索拡張生成は不可能だっただろう。クラウドは、RAGシステムがその真価を発揮するために必要な重要な機能と特性を提供します。これらには以下が含まれます。
ほぼ無限の拡張性と膨大なストレージ容量– 検索拡張生成システムは、企業の知識ベース全体、数千または数百万のWebサイトからのコンテンツ、膨大なオンライン文書コレクションなど、非常に大規模なデータセットに依存しています。パブリッククラウドプロバイダーは、必要なストレージ容量とコンピューティング能力をいつでも提供でき、システムのさらなる拡張も迅速かつ容易に行えます。
分散データベースと検索機能– RAGシステムが取得する外部データの多くは非構造化データであり、簡単に整然としたスプレッドシートに整理することはできません。クラウドは、大量の非構造化データを保存およびアクセスするのに理想的な場所です。分散検索システムはクラウド環境でも一般的であり、大規模なデータセットからの情報へのアクセスと取得を高速化および簡素化する。
高性能と高可用性– クラウドには、最高のパフォーマンスと低遅延を実現するための機能が組み込まれています。高いスループットと低いレイテンシは、検索拡張生成に不可欠である。クラウドには、特定のノードやクラスターが故障した場合でも運用が継続されるように、幅広い冗長化対策が組み込まれています。
LLMの導入と管理– クラウドはLLMトレーニングにとって最適な場所です。多くのプロバイダーは、モデルの導入と管理をさらに容易にするマネージドAIサービスを提供しています。
RAGの最大の利点の1つは、時代遅れになりつつあるLLMと、絶えず進化し続ける人間の言語と現代の知識との間のギャップを、効果的かつ効率的に埋めることができる点にある。その他の利点としては、以下のものが挙げられます。
LLM出力の精度向上– 検索拡張生成は、最新の情報をLLMの既存の知識体系と組み合わせることで、最新かつ最も正確な回答または出力を可能にします。これは、システム全体に対するユーザーの信頼を高めることにもつながります。
関連性の向上– RAGから得られる最新の知識は、LLM学生が、そうでなければ明らかにならなかったであろう言語や意味の微妙なニュアンスを理解するのに役立ちます。
事実の検証可能性と透明性– 多くのRAGシステムは外部情報源を明示しており、ユーザーはデータを検証し、必要に応じて修正を行うことができる。これは、一部のAIベースシステムに見られる「ブラックボックス」的な性質、つまりユーザーが回答やその他の出力がどのように生成されているのか分からないという問題を解消するのに役立ちます。
汎用性の向上– 検索機能を強化した生成システムは、LLMの汎用性を高め、追加のユースケースを可能にする。LLMに投入される外部データの関連性が高ければ高いほど、出力結果はより詳細でパーソナライズされたものになる。
チャットボット– 従業員が利用する企業知識管理用のチャットボットであれ、顧客対応のサポートチャットボットであれ、RAGシステムは会話が関連性があり、詳細であることを保証するのに役立ちます。これらのチャットボットは、単に質問に答えるだけでなく、情報や状況を統合し、実用的な洞察を提供することもできます。
ドラフト作成アシスタント– 検索拡張生成システムは、AIベースのコンテンツ作成において非常に役立ちます。例えば、ユーザーが企業固有の情報を使用してレポートを作成する必要がある場合や、記者が記事に関連する統計情報を見つける必要がある場合などです。これにより、ユーザーは時間を節約し、より効率的にコンテンツを作成できます。
研究助手― RAG(研究助手・応用学習)で強化されたLLM(法学修士)は、大学院生の学位論文、訴訟、医学・臨床研究など、研究段階において非常に役立ちます。
知識エンジン– RAGとLLMを組み合わせることで、高度な質疑応答システムや知識ベースは、より正確で、関連性が高く、タイムリーなものになります。
カスタマイズされたアイデア創出– 検索機能と生成機能を強化したLLMを使用することで、AIベースの推奨事項、将来のトレンドに関する洞察、関連する専門家の特定などにより、ブレインストーミングを強化できます。これは意思決定の改善にも役立ち、特有の課題をより効率的に解決することを可能にします。
Nutanixは、ハイブリッドマルチクラウドのエコシステムがITの標準となる中で、今日の組織が直面する課題を理解しています。私たちはこれまで、クラウドにおけるデータとアプリケーションの運用・管理を簡素化するために尽力してきました。そして、 Nutanix Cloud Platformをはじめとする数々のソリューションを提供することで、お客様の競争力を阻害する一般的な障害を克服するお手伝いをいたします。
AIとLLMが現代ビジネスの成功に不可欠な要素となるにつれ、Nutanixはそれらの力を活用し、お客様のために役立てるための革新的な方法を見出しています。そうした革新技術の一つが検索拡張生成(RAG)であり、弊社では現在、社内インフラ上でRAGシステムをテストし、貴社のAIベースのソリューションをより効率的かつ効果的にする方法について理解を深めています。