データマイニングと多様化の時代

最近、データマイニングについて調べ、研究会やシンポジウムに参加して情報収集している。経済界では、ビッグデータという言葉が流行になっており、データの重要性が叫ばれているようだ。データが大量にあるので、データマイニングの仕事が必要になっているということだ。データマイニング業界には風が吹いているのだ。

インターネットの発達によりデータが大量に作られるようになった。そのため、データマイニングというと仕事が発生したのだと以前は思っていた。
しかし、良く考えてみると、データマイニング熱の高まりは単にデータが多いからという表面的なものではなく、実は社会変化の本質的な必然性から発生したのではないかと思うようになった。

今の時代は経済不況が続き、市場の閉塞感が蔓延しており、私を含めて、多くの日本人がどのように生きていけばいいのか分からない状況だ。

以下のブログを読んだとき、はたと気づいた。現代社会は多様性が必要になってきたから、データマイニングが必要になったのではと思ったのだ。

私たちが「豊かな生き方」をするのに必要なもの／競争でも平等でもなく、多様化を！
http://d.hatena.ne.jp/Rootport/20111206/1323172032

教育の世界でも画一性ではなく、多様性が必要だ。

平均主義が敗北する時代
http://kasakoblog.exblog.jp/17016291/

大学でも小中高でも平均主義が蔓延していて、多様な人材が必要とされているが、どのようにその多様な人材を作るのか当事者たちは分かっていない。

高度経済成長期のもの見方はこの正規分布的に物を見るのだと思う。横軸は、成績、IQ、年齢、身長などが来る。縦軸は頻度で人口などが来る。人間の能力の分布も正規分布とみなし、平均が存在する。確かに、成績、IQ、年齢、身長は正規分布に従う。

そこで、過去の高度経済成長期のおじさんたちは、教育にしても、広告を打つにしても、人口の一番多いところ、つまり、平均を狙い撃ちして、成果を挙げた来たのだ。

残念ながら、この一つの尺度でモノを見るのは、統計学でも初級と言えよう。それでも、このやり方でそこそこうまく行っていたのが、右肩上がりの経済の時代なのだ。

ものの値段が安すぎる！‐24時間残念営業
http://lkhjkljkljdkljl.hatenablog.com/entry/2012/12/19/112633

今や、グローバル化が進み、小売業の効率化はもう既に限界まで来ていて、ものは溢れ、飽和状態になっている。。何か新しい付加価値をつけなければ、モノは売れないのだ。人間も金太郎飴のように同じ能力・性格の人間は必要ではなく、他人と違う多様性を持った個性が必要となってしまったのだ。

データマイニングで多くなっているデータは、多くの成分を持った多次元データである。

例えば、生徒の成績なら、国語、理科、社会などの科目点数が成分であり、三教科ならば三次元となる。

生徒　国語　理科　社会
生徒1　70点　80点　50点
生徒2　73点　25点　65点
・・・

成分を増やすことにより、次元数は増やすことができる。ビッグデータがもてはやされて、データのエントリー数が増えているのも確かだが、データも高次元化している。高次元のデータから有効な次元を取り出して、分類などを行うのがデータマイニングの本質だ。

結論としては、経済界でビッグデータと騒がれているの本当の原因は人間の多様性が必要となっているからだ。人間を単一の尺度（１次元）で測りきれなくなり、多次元で図ってみるが、どれが重要な次元（軸）か分からないので、コンピュータの力を借りて、顧客の多様性を知ろうとしているのだ。

残念ながら、経済界で起こっていることは、教育界ではまだ見えてきていない。

ウィリアム・ギブソンの言葉を引用して、この議論を終わりとする。
The future is already here — it's just not very evenly distributed.
未来は既にここにある。ただ均等に分布していないだけだ。