機械学習のトライアルを実施してアルゴリズムの精度や費用対効果を検証することができた後、実際の業務に導入した時に何が起きるでしょうか。

トライアルで十分な精度が出ることを確認できていても、本運用では想定と異なるデータが多いため期待した効果が出ない、きちんと学習できていないことがありえます。
機械学習では、そうしたデータも学習していくことで精度をあげることができますが、実際の運用の中ではどのように学習データを集めてチューニングを行っていけばよいのでしょうか。

機械学習を業務の中で使っていくには、運用しながらモデルの精度検証とチューニングを続ける方法を考える必要があります。
チャットボットのように用途とチューニングの方向性を明確にしやすいシステムでは、こうした運用を可能にするための管理画面が最初から用意されているものも多くあります。しかし、多くの汎用的な機械学習のツールには、業務目的に応じて適切な運用管理の仕組みを別途用意しなければいけない場合がほとんどです。

毎月数十万件投稿される口コミサイトで「不適切な内容の投稿が掲載されていないかをAIに判定させたい」という業務の依頼をいただいた時のことです。
こうした業務内容であれば、問題がありそうな表現のテキストに“不適切”というラベル、その他のテキストに“適切”としたラベルを付けた学習データを作って、目的にあった機械学習の仕組みができそうです。
そこで実際に運用を始めてみると、本来掲載されるべき内容の投稿まで“不適切”と判定されてしまうという指摘が相次いだため、モデルを再学習することになりました。

運用開始時は“不適切”と判定されたテキストは人によるチェックを行っていなかったため、改めて“不適切”とされた多量のデータを全て人の目で判定し直し、その内容を再学習させるという手間がかかる作業が急遽発生してしまいました。

人が見る部分を減らすことを目的に導入したのに、問題が起きるたびに全てのデータをチェックしなければいけないとなれば本末転倒です。

機械学習の精度を出すためには、人に作業を任せる場合と同様に、その判定が正しくできているかどうかのチェックをする仕組みは必ず必要になります。
例えば、今回の口コミサイトの事例であれば以下のようなチェックを人の手で定期的に行うことにしました。

・機械学習が“不適切”と判定したデータの一部を人による判定に回す
（判定ミスの有無を確認する）
・投稿件数を確認する
（数が極端に減っていたら必要以上に厳しい判定をしていないかを判断する）

判定が正しくできているか定期的に手を加えて確認することで、全体を通して見ると最小限の手間でモデルの精度を向上させていくことができます。

自動化した箇所のチェックが適切でなければモデルの不備に気づけないだけでなく、適切な対策をとるために余計な手間をかけることにもなりかねません。実際の運用では管理手法の設計が重要になってきますが、そのためには機械学習という技術への理解だけでなく、業務への理解や業務設計の経験が必要とされるでしょう。

機械学習を活用したツールやシステム自体はオープンなものを含めて使いやすいものが増えてきました。しかし、今はまだ運用方法には典型的なやり方が存在せず、毎回手探りで運用設計をしているような状態です。
一方で、実際に機械学習を運用した事例は増えてきており、成功するパターンや失敗しやすい要因なども見え始めてきました。

TMJでは、機械学習という技術をより広範に使えるようにこうした事例を積み重ねていきたいと考えています。機械学習への理解を深めるためのご説明から実際の運用方法までお客様のニーズに合わせてご提案いたします。お気軽にお問い合わせください。