BPOの最前線コラム

期待する機械学習の導入効果をあげるポイントとは

2017.12.15

  • コスト削減
  • 品質向上
  • 業務効率化

機械学習を使ったシステムの運用を考える

トライアルを実施してアルゴリズムの精度や費用対効果を検証することができた後、機械学習を使った業務を実施しようとした時に何が起きるでしょうか? トライアルで十分な精度が出ることを確認できていても、本運用では想定と異なるデータが多いため期待した効果が出ないことがありえます。機械学習ではそうしたデータも学習していくことで精度をあげていくことができますが、実際の運用の中ではどのように学習データを集めてチューニングを行っていけばよいのでしょうか。

どうやってデータの検証を行うのか?

機械学習を業務の中で使っていくには、運用しながらモデルの精度検証とチューニングを続ける方法を考える必要があります。チャットボットのように用途とチューニングの方向性を明確にしやすいシステムでは、こうした運用を可能にするための管理画面が最初から用意されているものも多くあります。しかし、多くの汎用的な機械学習のツールには、業務目的に応じて適切な運用管理の仕組みを別途用意しなければいけない場合がほとんどです。

例えば、毎月数十万件投稿される口コミサイトでは、不適切な内容の投稿が掲載されていないかどうかを、判定させる業務がありました。こうした業務内容であれば、問題がありそうな表現のテキストに“不適切”というラベル、その他のテキストに“適切”としたラベルを付けた学習データを作って目的にあった機械学習の仕組みができそうです。実際に運用を始めてみると、本来掲載されるべき内容の投稿まで“不適切”と判定されてしまうという指摘が相次いだためモデルを再学習することになりました。しかし、“不適切”と判定されたテキストは人によるチェックを行っていないため、改めて“不適切”とされたデータを全て人の目で判定し再学習させる作業が発生しました。

自動化するからこそ必要な管理の仕組み

人が見る部分を減らすことを目的に導入したのに、問題が起きるたびに全てのデータをチェックしなければいけないとなれば本末転倒です。人に作業を任せる場合と同様に、その判定が正しくできているかどうかのチェックをする仕組みは必ず必要になります。例えば、今回の例であれば以下のようなチェックを定期的に行うことにしました。

・投稿数をチェックして機械学習が必要以上に厳しい判定をしていないかをチェックする
・機械学習が“不適切”と判定した一部を人による判定に回して判定ミスの有無を確認する

こうすることで、最小限の手間で判定が正しくできているかどうかを見ていくことができます。

適切な効果を導き出す技術への理解と業務設計の経験

この例のように自動化した箇所のチェックが適切でなければモデルの不備に気づけないだけでなく、適切な対策をとるために余計な手間をかけることにもなりかねません。そのため、実際の運用ではこうした管理手法の設計が重要になってきますが、そのためには機械学習という技術への理解だけでなく、業務への理解や業務設計の経験が必要とされるでしょう。

機械学習を活用したツールやシステム自体はオープンなものを含めて使いやすいものが増えてきました。しかし、今はまだこうしたツールやシステムの運用方法には典型的なやり方が存在せず、毎回手探りで運用設計をしているような状態です。一方で実際に機械学習を運用した事例は増えてきており、成功するパターンや失敗しやすい要因なども見え始めてきました。

TMJでは、機械学習という技術をより広範に使えるようにこうした事例を積み重ねていきたいと考えています。機械学習への理解を深めるためのご説明から実際の運用方法までお客様のニーズに合わせてご提案いたします。お気軽にお問い合わせください。

関連サービス:IBM Watsonを活用した「フィジビリティスタディサービス」

小泉 敬寛

事業基盤本部 コンサルティング部 Data Science推進室

京都大学で人の行動やコミュニケーションに興味を持ち、映像記録を記憶として活用するための検索技術やテレビ電話を用いたコミュニケーション分析などの研究を行ってきた。TMJ入社後はそれまでの知見や技術を活かし社内外のデータ分析プロジェクトへ参画する一方、人工知能をはじめとする最先端技術の研究開発をおこない、それらを活かした仕組みや価値創出のためのソリューション開発などを担当する。

無料のお問い合わせ、お見積り、資料請求はこちらから

WEBでのお問い合わせ

お電話でのお問い合わせ
0120-777-5009:00 ~ 18:00 土日祝日除く