Enjoy Data Mining!

データマイニング手法やデータマイニングツールの使用法などの備忘録

データマイニングが登場した背景

データマイニングの登場には,情報通信計算機技術の発展が強く関係しています.特にデータの集積に関しては,計算機の性能が向上し,補助記憶装置(ハードディスク)などの記録装置の容量も飛躍的に向上したことにより,容易に蓄積が可能になってきました.この流れは,1980年代に小型計算機が普及したことにより,より多くの分野でデータの大量蓄積を可能にしました.もちろん,データを取得・蓄積・管理するためのデータベース管理システムの発展も大きくこの流れに寄与しています.

このような技術の浸透は,ビジネス分野のみならず,自然科学・社会科学・医療といった分野にも及び,それぞれの分野でデータから有用な知見を得るための分析が行われることに注目が集まり始めました.しかし,従来のデータ分析は,データベース統計解析機械学習の分野でそれぞれの立場を主張して行われていたのです.例えば,データベース技術は分析者に便利な命令セット(あるいはそれらを作成する機能)を提供し,どれだけ有用な規則性が発見されるかは分析者に任されていました[商業的には,用意した命令セットやそれらを作る機能が優れていることで,誰もが有用な発見が可能であるかのように宣伝されてしまうこともあった].

データの収集については,データベース技術によるところが大きいのですが,事象のモデル化やそのモデル管理人工知能知識技術と関連していると考えられますし,得られた規則性の評価や推測・推定といった分析は統計解析が得意としてきたところでもあります.また,人工知能の分野では,機械学習アルゴリズムによって分類規則をはじめとする規則性の生成手法が数多く存在しましたし,現在でも多くのアルゴリズムが開発されています.統計解析でも,各種の回帰判別分析など,データから特徴的なモデルを生成することが可能です.これらの多くの技術を統合し,ひとつの考え方の基で必要が技術をそれぞれの処理で選択可能とすることを提唱したのがデータマイニングという枠組みなのです.