ビッグデータから「知識」を導き出す
データマイニングとは、大量のデータを分析し、共通する法則や相関関係、異常値などの情報を発掘（マイニング）する手法のこと。
データマイニングを理解するにあたり、まずは「DIKWモデル」という有名なデータ分類手法を紹介する。
【DIKWモデル】
1. Data（データ）＝整理されていないデータ。生データとも言う。
2. Information（情報）＝データを何かしらの基準で整理・カテゴライズした状態。
3. Knowledge（知識）＝Informationから導き出される傾向や知見。
4. Wisdom（知恵）＝Knowledgeを利用して判断した状態。
上記のようにデータには4つの段階があり、Wisdom（知恵）のデータが一番価値が高いとされている。
データマイニングは、この中の1〜3までを効率よく正確に行うための手法である。
データマイニングのプロセス
実際にデータマイニングを行うためのプロセスは、大きく下記に分類できる。
【データマイニングのプロセス】
1. データの収集
2. データの加工
3. データ分析
1. データの収集
まずは分析するための生データを収集する。一般的にこのデータが大量であればあるほど、正確で有益な分析結果を得られる可能性が高いとされている。推奨されているデータ量は10万データ。これは分析対象や分析内容によって異なるため一概には言えないが、一つの目安として10万データを収集することがデータマイニングのファーストステップである。
なお、データマイニング成功の可否はこの生データの質にかかっていると言われている。目的達成のためにどんなデータを収集すべきかを吟味すること、間違いや欠損なく正確にデータを収集することがデータ分析者の腕の見せどころである。
2. データの加工
データマイニングはシステムを活用して行うため、生データを特定の形式に加工する必要がある。データの内容ごとに複数のツールを使ってデータを収集しているケースも多々あるため、これらのデータ形式を統一することが重要だ。この作業を「クレンジング」と呼ぶ。
3. データ分析
ここからが、いわゆるデータマイニングの本作業になる。データ分析の手法は大きく「機械学習」と「統計分析」に分類できる。
■機械学習
事前に仮説を立てず、コンピュータに自分で学習しながら相関関係や法則を導き出させる方法。人間が想定していなかったデータの法則や、見過ごしてしまった相関関係などを発掘できる点がメリット。複雑な条件が絡む課題の分析などにも適している。
■統計分析
統計論や分析論などを用いて事前に仮説を立て、実際の分析はツールなどを用いて自動的に導き出す方法。統計学の基本的な知識が必要となるが、仮説が正しいかどうかを判断するのに有用である。
データマイニングのメリット
ビッグデータの収集が容易になった今の時代、データマイニングを行うことでビジネスに大きなメリットが生まれる。
信頼できる「知識」が得られる
ビジネスに課題や問題がある時、その原因を発見したり、解決策を導き出すことは簡単なことではない。これまでは一部のデータから導き出される印象や傾向で施策を決めたり、属人的な経験や勘に頼るケースが多く、それが本当に最良の選択肢なのかを検討することすら難しかった。
しかし、データマイニングを活用すれば、人間では処理しきれない大量の情報から確度の高い傾向や相関関係を導き出せるようになる。その「知識」から解決策を導き出すためには結局人間の「知恵」が必要になることは変わりないが、今までよりも遥かに正確で信頼できる「知識」を得られるアドバンテージは限りなく大きい。
また、一見無関係と思っていたデータから思いもしなかった発見を得られることもあり、人間の経験や勘に頼らない実績ベースのマーケティング線略が立案できる点もメリットだろう。
時間や労力の効率化が図れる
一度データの収集方法やルールを決めてしまえば、あとは自動でデータ収集と分析ができるようになるため、これまでかかっていた時間や労力を大幅に削減することに繋がる。手作業でやっていたことを如何に自動化できるかでデータマイニングの価値は大きく変わるといえるだろう。
データマイニングには知識と技術が必要
データマイニングを導入すれば、今以上に正確な効果の予測・測定・ノウハウの蓄積ができるようになり、生産性向上にも大きく寄与する。
ただし、収集するデータ内容が目的と合わなかったり、データに不備があったり、各種ツールやシステムを正しく使いこなせないと分析の精度が落ちてしまう。何よりも、データマイニングで行えるのは、データを「知識化」するところまでで、その知識を解釈したり解決策を導き出したりするには、人間の「知恵」が必要である。
ビッグデータがビジネスの成長を左右する時代。データ分析のスペシャリストを雇ったり、システム構築からコンサルティングまでを一気通貫で行ってくれるサービスもあるので、そういったものを活用して一刻も早くデータマイニングを導入することが重要であることは間違いないだろう。