テキスト要約は、会話や文書の内容を、論旨や要点をおさえて簡潔にまとめることを指します。テキスト要約には主に以下のようなメリットがあります。

•  短時間で文章内容が把握できる
•  内容がわかりやすく整理され、文章理解が深まる
•  情報を共有しやすくなる
•  内容の誤りなどをチェックしやすくなる

従来は人手による要約が行われていましたが、大きな工数がかかることや人によって要約内容にバラつきが発生するといった課題がありました。そうした課題を解決するために、昨今では自動要約を行うサービスが多く登場しており、会議議事録や報告書の自動作成、機械翻訳、マーケティング活動における情報収集の効率化等、要約技術を用いたサービスがビジネスの高度化に大きく貢献しています。

テキスト要約の技術は、「抽出型要約」と「抽象型要約」に大別できます。

•  抽出型要約：文章内の重要箇所を抽出し、それらを組み合わせる手法
•  抽象型要約：文章全体の意味を捉えて、言い換えや短縮等、様々な表現方法を用いて新しい要約文を生成する手法

＜手法別のアウトプットイメージ＞

（引用元：Qiita：文書要約の歴史を辿って）

抽出型要約は、原文内の重要箇所を特定する手法のため評価がしやすいですが、抽象型要約は、読み手によって文体やまとめ方に対する評価が異なるため、学習範囲と正解の定義が非常に難しいことが特徴です。

要約技術の研究は1950年代から始まりました。研究初期は、文章中の重要単語・フレーズの出現頻度や一定の文脈を考慮した重要文抽出が試行されていましたが、1990年代に入ると、多くのデータから特徴量を学習し、推論を行う機械学習モデルが登場しました。この頃から、文章だけではなく文節などの細かな単位での抽出も研究され始め、その評価方法も単文や単語などの単位で比較するアプローチが行われるようになりました。

先述の理由から、要約技術の研究は長らく抽出型要約が中心に行われてきましたが、2015年にはEncoder-Decoderモデルの登場により、入力側にはなかった情報を生成し出力する抽象型要約が初めて可能となりました。その後はBERT、GPT、T5等の、大規模なコーパスで事前訓練されたLLM（大規模言語モデル）が台頭し、今日では高い精度で抽象型要約を行えるようになりました。

このようにAIの進化とともに発展してきた要約技術ですが、その精度はどのように評価するのでしょうか。

2つの要約手法それぞれに対して、以下のような評価指標を使う事が一般的です。

•  抽出型要約：Recall（再現率）/Precision（適合率）/F1値（調和平均）
•  抽象型要約：Rouge

抽出型要約に用いられるRecall（再現率）/Precision（適合率）/F1値（調和平均）は、全正解数の内どれだけAIが抽出できたかという「網羅性」と、AIが抽出した結果の内どれだけ正解があるかという「正確性」の両軸から精度を評価する指標です。

（エーアイスクエア作成）

「再現率」と「適合率」はトレードオフの関係にあり、どちらかに偏るのは好ましくないため、これらの調和平均である「F1値」をKPIとして設定することが多いです。

＜計算式＞
F1値 ＝ 2×適合率×再現率 / 適合率＋再現率 = 2×0.67×0.8/（0.67+0.80）＝0.73

抽象型要約に用いられるRougeは、同じく「網羅性」と「正確性」の両軸から精度を評価する指標ですが、単語をベースとしているところに違いがあります。Rougeには、「Rouge-1：単語単位での一致」、「Rouge-2：2つの連続した単語列での一致」、「Rouge-L：最長共通単語列での一致」等の種類があり、予測した要約結果と正解の要約文をそれぞれ分かち書きしてから、形態素ベースでRecall、Precisionを算出します。以下は、Rouge-1での評価例です。

（引用元：Qiita：ROUGEを訪ねて三千里:より良い要約の評価を求めて）

上が予測した要約結果、下が人手で作成した正解の要約文です。青色の所が単語単位で一致した箇所です。

＜計算式＞
・Recall （正解の全単語数の内どれだけAIが予測できたか）：6/11＝0.55
・Precision（AIの予測結果の内どれだけ正解があるか）：6/7=0.86
・F1値 ＝ 2×適合率×再現率 / 適合率＋再現率 = 2×0.86×0.55/（0.86+0.55）＝0.67

このように、手法や目的に応じて評価指標を使い分けることで、利用している要約モデルの精度を正確に測ることができます。

モデルの要約精度を向上させるには、教師データ追加によるチューニングを行う事が必要です。以前は、特に抽象型要約モデルのチューニングには数万件規模の膨大な教師データ数が必要とされていたため、非常に難易度が高いものでした。しかし、LLM（大規模言語モデル）が登場したことで、比較的少量のデータ数でも要約結果が微調整できるファインチューニングが可能となりました。

昨今話題のChatGPTでは、プロンプト（指示文）を書き換えるだけで出力結果の調整が可能ですが、ファインチューニングを行うことでより高精度の出力や、最適なプロンプトを都度検討する手間を省くことが可能となるため、ファインチューニングを行うユーザーが増えています。

コンタクトセンターにおいても、さまざまな目的で要約技術が活用されています。

（エーアイスクエア作成）

これらの目的には通話テキストが必要となるため、コンタクトセンターにおける要約技術の活用には、音声認識のアプローチがセットで必要となります。

要約を行う上でポイントとなるのは音声認識精度です。当然ながら、要約元となる音声認識結果に誤認識が多ければ要約結果も少なからず影響を受けます。ただ、全テキストが正確に認識されている必要はなく、要約する上で重要なキーワードの部分が認識できているかどうかがポイントとなります。

また、認識精度向上により誤認識を減らすことも重要ですが、それと同じくらい重要なのが認識テキストに適切な前処理を行うことです。いかに認識率を上げたとしても、通話テキストには相槌やフィラーなどのノイズが多く含まれているため、そのまま要約に使用して高い精度を出すことは難しいです。そのため、ノイズ除去の機能が備わった要約ソリューションを利用することが重要です。

ここでは、株式会社エーアイスクエアが提供しているコンタクトセンター向けに特化したAI要約サービス「QuickSummary2.0」をご紹介します。QuickSummary2.0は、通話テキストに対してエーアイスクエア社開発のAIモデルが会話の要約を行う、操作性の高いUIを兼ね備えたサービスです。オペレーターとカスタマーの2者間の会話要約に特化したモデルを搭載し、高い精度で要約することができます。また、その他にもコンタクトセンター向けの機能が充実しています。

•  クレンジング（フィラー、相槌などのノイズ除去）
•  重要発話抜粋（発話の重要度判定・取捨選択）
•  個人情報排除
•  ChatGPTによる要約文生成
•  充実のプロンプト提供（箇条書き・CRM形式等）

（エーアイスクエア作成）

QuickSummary2.0は、ChatGPTをそのまま利用して要約するよりも多くのメリットがあります。

• 高精度な要約
  クレンジングや重要発話抜粋といった前処理によって、ノイズや不要発話が除去されたテキストをChatGPTへ連携するため、高い精度で要約できます。

• コスト削減
  重要な発話のみに絞ることでChatGPTの利用トークン数削減につながり、無駄なコスト発生を防げます。

• 高いセキュリティ
  個人情報排除機能により、ChatGPTへ個人情報を連携せずに要約できます。また、API利用しているため、入力情報はChatGPTの学習に利用されません。

ここでは、QuickSummary2.0の活用事例をご紹介します。

【事例１】住宅設備メーカー様
音声認識と要約精度の検証を行い、具体的な実務への適用効果を試算している事例です。

【事例２】損害保険会社様
コンタクトセンター窓口において本番利用している事例です。

昨今のコンタクトセンターは、膨大な量の情報が蓄積できるようになり、その解析には要約技術の活用が期待されています。特にデータの大半を占める通話音声の要約には音声認識との組み合わせが必須となります。そのままの音声認識テキストではノイズや不要発話も多く高い精度で要約できないため、テキストに適切な前処理が必要となります。

当社では、それらの課題を解決する機能を備えた要約ソリューションを提供しており、株式会社TMJの受託しているコンタクトセンターでのご利用も可能です。「通話テキストが活用できていない」「後処理時間を削減したい」などお悩みがございましたら、ぜひお気軽にご相談ください。