menu

業務改善ノート Business Improvement Note

豊富な顧客応対実績から生まれたコミュニケーションのノウハウや
効率化のポイントなど、仕事の改善に役立つさまざまな情報をお届けします。

機械学習の導入効果を向上させるポイントとは

初回投稿日 : 2017/12/15
最終更新日 : 2019/04/01

目次

  1. トライアルで機械学習が上手くいっても本番運用で効果が出ないこともある
  2. 口コミサイトの機械学習導入時の失敗事例
  3. 機械学習の管理のススメ
  4. 適切な効果を導き出す技術への理解と業務設計の経験

トライアルで機械学習が上手くいっても本番運用で効果が出ないこともある

トライアルを実施してアルゴリズムの精度や費用対効果を検証することができた後、機械学習を使った業務を実施しようとした時に何が起きるでしょうか? トライアルで十分な精度が出ることを確認できていても、本運用では想定と異なるデータが多いため期待した効果が出ないことがありえます。機械学習ではそうしたデータも学習していくことで精度をあげていくことができますが、実際の運用の中ではどのように学習データを集めてチューニングを行っていけばよいのでしょうか。

口コミサイトの機械学習導入時の失敗事例

機械学習を業務の中で使っていくには、運用しながらモデルの精度検証とチューニングを続ける方法を考える必要があります。チャットボットのように用途とチューニングの方向性を明確にしやすいシステムでは、こうした運用を可能にするための管理画面が最初から用意されているものも多くあります。しかし、多くの汎用的な機械学習のツールには、業務目的に応じて適切な運用管理の仕組みを別途用意しなければいけない場合がほとんどです。

例えば、毎月数十万件投稿される口コミサイトでは、不適切な内容の投稿が掲載されていないかどうかを、判定させる業務がありました。こうした業務内容であれば、問題がありそうな表現のテキストに“不適切”というラベル、その他のテキストに“適切”としたラベルを付けた学習データを作って目的にあった機械学習の仕組みができそうです。実際に運用を始めてみると、本来掲載されるべき内容の投稿まで“不適切”と判定されてしまうという指摘が相次いだためモデルを再学習することになりました。しかし、“不適切”と判定されたテキストは人によるチェックを行っていないため、改めて“不適切”とされたデータを全て人の目で判定し再学習させる作業が発生しました。

機械学習の管理のススメ

人が見る部分を減らすことを目的に導入したのに、問題が起きるたびに全てのデータをチェックしなければいけないとなれば本末転倒です。人に作業を任せる場合と同様に、その判定が正しくできているかどうかのチェックをする仕組みは必ず必要になります。例えば、今回の例であれば以下のようなチェックを定期的に行うことにしました。

・投稿数をチェックして機械学習が必要以上に厳しい判定をしていないかをチェックする
・機械学習が“不適切”と判定した一部を人による判定に回して判定ミスの有無を確認する

こうすることで、最小限の手間で判定が正しくできているかどうかを見ていくことができます。

適切な効果を導き出す技術への理解と業務設計の経験

この例のように自動化した箇所のチェックが適切でなければモデルの不備に気づけないだけでなく、適切な対策をとるために余計な手間をかけることにもなりかねません。そのため、実際の運用ではこうした管理手法の設計が重要になってきますが、そのためには機械学習という技術への理解だけでなく、業務への理解や業務設計の経験が必要とされるでしょう。

機械学習を活用したツールやシステム自体はオープンなものを含めて使いやすいものが増えてきました。しかし、今はまだこうしたツールやシステムの運用方法には典型的なやり方が存在せず、毎回手探りで運用設計をしているような状態です。一方で実際に機械学習を運用した事例は増えてきており、成功するパターンや失敗しやすい要因なども見え始めてきました。

TMJでは、機械学習という技術をより広範に使えるようにこうした事例を積み重ねていきたいと考えています。機械学習への理解を深めるためのご説明から実際の運用方法までお客様のニーズに合わせてご提案いたします。お気軽にお問い合わせください。

執筆者紹介

小泉 敬寛

マーケティング推進本部 サービス推進部 Data Science推進室
テーマ:AI、機械学習、統計分析、シミュレーション、テクノロジー
京都大学で人の行動やコミュニケーションに興味を持ち、映像記録を記憶として活用するための検索技術やテレビ電話を用いたコミュニケーション分析などの研究を行ってきた。TMJ入社後はそれまでの知見や技術を活かし社内外のデータ分析プロジェクトへ参画する一方、人工知能をはじめとする最先端技術の研究開発をおこない、それらを活かした仕組みや価値創出のためのソリューション開発などを担当する。
関連するサービス

関連する記事

資料ダウンロード

TMJが豊富な経験と最新技術を駆使して得た、業務の効率化やスキル向上に役立つ実践的なノウハウや知識を、無料でご提供します。

totop