2013.05.12
# 本

『ビッグデータの正体 情報の産業革命が世界のすべてを変える』
~第2章 第1の変化「すべてのデータを扱う」より~

 もう一度確認しておこう。ビッグデータは、人々の意識に3つの大きな変化をもたらす。しかもその3つが相互に結びついて大きな力を生み出す。

 まず1つめは、あるテーマに関して、一部のデータや統計的なサンプルで済まさず、すべてのデータを分析できるようになったことだ。2つめは、正確さにこだわり続けるのではなく、現実世界の乱雑なデータにまっすぐ向き合おうとする意欲である。3つめは、つかみどころのない因果関係を追い求めるよりも、相関関係を積極的に受け入れる発想の転換だ。

 本章では、第1の変化である「少量のデータではなく、全データの利用」について取り上げる。

 これまで膨大なデータを正確に分析するのは簡単な作業ではなかった。収集するデータ量をあえて抑えてきたのは、データの記録・保管や分析のツールが貧弱だったからだ。それが昔からの常識だった。使用する情報を徹底的に選り分けて最小限に整えていたのは、分析作業を楽にするためで、無意識に自主規制、自己検閲をしていたわけだ。技術的な限界を理由に、勝手に無理と判断していたのである。

 ところが今や技術的な条件は"179度"変わった。180度とまで言い切れないのは、1人が管理できるデータ量にまだ制約があるからだ。そこは今後も変わらないにせよ、かつてとは比べ物にならないくらい小さな制約だし、今後はもっと小さくなるはずだ。

 大量のデータを収集・利用できるようになったが、我々自身、その自由をまだ完全に評価しきれていない。これまでの経験や制度設計は「情報が限られている」という前提に立っている。わずかな情報しか入手できないという、思い込みが招いた結果だ。

 できるだけ少ないデータで済むように、手の込んだ手法を編み出しもした。極端に言えば、統計の目的は最小限のデータで最大の知見を得ることでもある。実際、何かの基準やプロセスを作る場合でも、人のやる気を引き出す制度づくりでも、情報の量をいかに抑え込むかがポイントだった。

 ビッグデータへのシフトの意味を探るうえで、まずは簡単に歴史を振り返っておこう

データ集計の歴史

 つい最近まで民間企業は大規模に情報を収集・分類していた。近ごろでは個人もそうだ。はるか昔には、こうした仕事は教会や国といった強大な権力を持つ機関に委ねられていた。それはどの社会でも似たような状況だった。

 最古の集計記録は紀元前8000年ごろで、シュメール人の商人が小さな粘土玉で交易品の数を記録していた。しかし大規模な集計作業は、国家の仕事だった。

 例えば国勢(人口)調査。中国にも古い記録があるが、エジプトは紀元前3000年ごろに人口調査を実施したと言われる。新約聖書によれば、初代ローマ皇帝アウグストゥスが「全世界の人口を調査せよ」(新約聖書ルカ2章1)と命じ、ヨセフとマリヤはベツレヘムに赴き、そこでイエスが誕生している。

 英国には1086年に編纂された『ドゥームズデイ・ブック(土地台帳)』がある。全国隅々まで調査官を派遣し、国民、土地、財産を克明に記録したもので、当時としては類例のない台帳だった。人々の暮らしぶりを丸裸にする内容だったことから、後に聖書の「最後の審判の日」(英語は「Doomsday」)に因み、ドゥームのアルファベット綴りを少し変えて『ドゥームズデイ・ブック(Domesday Book)』と呼ばれるようになった。

関連記事