ChatGPTの登場により、チューニングを行わなくとも質問回答を行えるようになりました。

しかし、ChatGPTはあくまで学習したネット上の一般的な情報から導き出した「それらしい回答」を行います。

そのため、お客様サポートチャットボットなどで利用するにはいくつかの課題があります。

サポートチャットボットでは利用が難しい主な理由を以下に紹介します。

AIが事実に反する新しい情報や内容を生成することをハルシネーション（Hallucination：幻覚）といいます。

AIは事実を知っているわけではなく、訓練データに基づいて回答を予測する仕組みのため、必ずしも正しい回答を生成するわけではないのです。

ChatGPTは前述の通り、訓練データに基づいて回答を予測する仕組みです。そのため、自社のサービスのサポート等で活用しようとしても、一般的な回答を行ってしまうため、特定サービスに絞った回答を行うことができません。

厳密には、ChatGPTへの質問文（プロンプト）に回答範囲を限定する内容を含めて質問することで回答範囲の限定は可能ですが、プロンプトには長さ制限があるため、現実的ではありません。

現状ChatGPTでは検索機能がありません。有償版のChatGPT Plusではブラウジング機能がβ機能で提供されていたり（2023年7月4日より公開停止中）、プラグインでブラウジングすることが可能ですが、自社サービスに組み込むために必要なAPIでは提供されていません。

そのため、現在は2021年9月までのデータで学習されたモデル内で回答を生成するため、最新情報に基づいた回答はできません。

これらの課題を解決する技術が「Retriever-augmented Language Model」です。

これは端的に言うと、外部のデータベースなどから関連する箇所を検索してChatGPTに入力する技術です。事前に検索対象のテキストを段落や文などに分割して特徴量を計算して保管しておき、質問時に該当する箇所を検索します。

Retriever（検索器）はチューニングも可能であり、業界に特化したモデルを構築することも可能です。

この技術を活用すると自社サービスのマニュアルなどのドキュメントを格納したデータベースから質問文に近い箇所を検索し、ChatGPTが該当箇所をまとめた回答文を生成することが可能です。

OpenAI社のco-founderのGreg Brockman氏も近い将来はChatGPTなどの大規模言語モデルとRetrieverの組み合わせが主流になるだろうと述べています。

Retrieverを組み合わせたChatGPTの具体的な利用シーンを以下に紹介します。

前述の通り、マニュアルを検索して質問文に合わせて該当箇所を取りまとめた回答を行うことが可能です。

これまでのチャットボットとの違いはマニュアルを格納するだけでFAQを作成する必要がない点、質問文の内容に合わせて回答文の形を変更して生成できる点です。

マニュアルの更新やサービスの変更などがあった際にもデータベース内のファイルを変えるだけで回答にも反映できるため、コンタクトセンターのオペレータ向けの回答支援ツールや自社サイトのチャットボットなどで効果を発揮します。

弊社チャットボットQuickQAのマニュアルを検索した結果をご紹介します。

検索対象はデータベースだけでなく、インターネットを使うことも可能です。

質問文をもとにHP検索を行い、検索上位のページの内容をChatGPTで要約することでインターネット検索＋要約を行うことができます。

Google Search JSON APIなどを使い、ドメインを指定したサイト内検索を行えば、自社サービスのHPにサポートチャットを設置することが可能です。

弊社HP内検索をした結果を下記に紹介します。

大量ドキュメントから該当資料を検索する場合、検索対象が多すぎるため、処理時間がかなり膨大となります。

大量のドキュメントが対象となる場合は事前に特徴量を計算して保管する際に、特徴量の似ているテキスト群をまとめてクラスタリングしておくことで、検索時にすべてのテキストではなく、該当するクラスター内のみを検索して回答を行うことが可能です。

この手法は社内資料データベースから過去資料を検索する際や論文データベースの検索などで活用することができます。

ChatGPTは大量のパラメータを学習しており、チューニング不要で質問回答を行ってくれますが、一方でチューニングすることが難しく、一般的な回答しかできないAIモデルです。しかし、Retrieverと組み合わせることでChatGPTの課題を回避して精度の高い回答を行えるようになります。ただし、検索精度はRetrieverの精度によるため、チューニングが必要となる点は注意が必要です。

本記事で紹介したマニュアル検索やインターネット検索、データベース内ドキュメント検索をはじめとしたChatGPT連携サービスを開発しています。お客様の業務に合わせた開発なども可能です。業務の効率化にお悩みの際はお気軽にご相談ください。