menu

業務改善ノート Business Improvement Note

豊富な顧客応対実績から生まれたコミュニケーションのノウハウや
効率化のポイントなど、仕事の改善に役立つさまざまな情報をお届けします。

機械学習の導入効果を向上させるポイントとは

初回投稿日 : 2017/12/15
最終更新日 : 2019/08/21

目次

  1. トライアルでうまくいっても本番運用で効果が出ないこともある
  2. 口コミサイトの機械学習導入時の失敗事例
  3. 機械学習の管理のススメ
  4. 適切な効果を導き出す技術への理解と業務設計の経験

トライアルでうまくいっても本番運用で効果が出ないこともある

機械学習のトライアルを実施してアルゴリズムの精度や費用対効果を検証することができた後、実際の業務に導入した時に何が起きるでしょうか。

トライアルで十分な精度が出ることを確認できていても、本運用では想定と異なるデータが多いため期待した効果が出ない、きちんと学習できていないことがありえます。
機械学習では、そうしたデータも学習していくことで精度をあげることができますが、実際の運用の中ではどのように学習データを集めてチューニングを行っていけばよいのでしょうか。

口コミサイトの機械学習導入時の失敗事例

機械学習を業務の中で使っていくには、運用しながらモデルの精度検証とチューニングを続ける方法を考える必要があります。
チャットボットのように用途とチューニングの方向性を明確にしやすいシステムでは、こうした運用を可能にするための管理画面が最初から用意されているものも多くあります。しかし、多くの汎用的な機械学習のツールには、業務目的に応じて適切な運用管理の仕組みを別途用意しなければいけない場合がほとんどです。

毎月数十万件投稿される口コミサイトで「不適切な内容の投稿が掲載されていないかをAIに判定させたい」という業務の依頼をいただいた時のことです。
こうした業務内容であれば、問題がありそうな表現のテキストに“不適切”というラベル、その他のテキストに“適切”としたラベルを付けた学習データを作って、目的にあった機械学習の仕組みができそうです。
そこで実際に運用を始めてみると、本来掲載されるべき内容の投稿まで“不適切”と判定されてしまうという指摘が相次いだため、モデルを再学習することになりました。

運用開始時は“不適切”と判定されたテキストは人によるチェックを行っていなかったため、改めて“不適切”とされた多量のデータを全て人の目で判定し直し、その内容を再学習させるという手間がかかる作業が急遽発生してしまいました。

機械学習の管理のススメ

人が見る部分を減らすことを目的に導入したのに、問題が起きるたびに全てのデータをチェックしなければいけないとなれば本末転倒です。

機械学習の精度を出すためには、人に作業を任せる場合と同様に、その判定が正しくできているかどうかのチェックをする仕組みは必ず必要になります。
例えば、今回の口コミサイトの事例であれば以下のようなチェックを人の手で定期的に行うことにしました。

・機械学習が“不適切”と判定したデータの一部を人による判定に回す
(判定ミスの有無を確認する)
・投稿件数を確認する
(数が極端に減っていたら必要以上に厳しい判定をしていないかを判断する)

判定が正しくできているか定期的に手を加えて確認することで、全体を通して見ると最小限の手間でモデルの精度を向上させていくことができます。

適切な効果を導き出す技術への理解と業務設計の経験

自動化した箇所のチェックが適切でなければモデルの不備に気づけないだけでなく、適切な対策をとるために余計な手間をかけることにもなりかねません。実際の運用では管理手法の設計が重要になってきますが、そのためには機械学習という技術への理解だけでなく、業務への理解や業務設計の経験が必要とされるでしょう。

機械学習を活用したツールやシステム自体はオープンなものを含めて使いやすいものが増えてきました。しかし、今はまだ運用方法には典型的なやり方が存在せず、毎回手探りで運用設計をしているような状態です。
一方で、実際に機械学習を運用した事例は増えてきており、成功するパターンや失敗しやすい要因なども見え始めてきました。


TMJでは、機械学習という技術をより広範に使えるようにこうした事例を積み重ねていきたいと考えています。機械学習への理解を深めるためのご説明から実際の運用方法までお客様のニーズに合わせてご提案いたします。お気軽にお問い合わせください。

執筆者紹介

小泉 敬寛

マーケティング推進本部 サービス推進部 Data Science推進室
テーマ:AI、機械学習、統計分析、シミュレーション、テクノロジー
京都大学で人の行動やコミュニケーションに興味を持ち、映像記録を記憶として活用するための検索技術やテレビ電話を用いたコミュニケーション分析などの研究を行ってきた。TMJ入社後はそれまでの知見や技術を活かし社内外のデータ分析プロジェクトへ参画する一方、人工知能をはじめとする最先端技術の研究開発をおこない、それらを活かした仕組みや価値創出のためのソリューション開発などを担当する。
関連するサービス

関連する記事

資料ダウンロード

TMJが豊富な経験と最新技術を駆使して得た、業務の効率化やスキル向上に役立つ実践的なノウハウや知識を、無料でご提供します。

totop