「パナマ文書」解析の技術的側面
ニューズウィーク日本版 / 2016年4月12日 18時25分
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか? 私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました:
・Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca leaks
・The Panama Papers: Why It Couldn't Have Happened Ten Years Ago
・Inside the Panama Papers: How Cloud Analytics Made It All Possible
これらは普段からグラフ(後述)を扱う仕事をしている自分にとっても興味深いものでしたので、ここで紹介します。こう言った現代の調査報道のテクニカルな部分は日本のマスコミで報道されることはほとんどないので、読んでいて純粋に面白かったです。ここでは世界の調査報道機関はどんなテクノロジーを使い何をやっているのかを、技術に明るくない人にもできるだけわかりやすいように書いてみようと思います。
データの形式
まず今回のデータの計算機的な性質です。公開されている情報によれば、それは以下の様なものです
出典: Süddeutsche Zeitung "About the Panama Papers"
・容量: 2.6TB。大きさとしては一万円程度のハードディスクにすべて納まります。
・ファイル数: およそ1,150万
・データ形式: 電子メール、RDBなどのデータベース、PDF文書、画像(おそらく多くは書類のスキャン)、テキストファイル。ファイル数の分布は上のチャートを参照
2.6TBというデータは、現在の計算機にとっては決して大きなものではありません。貴方がテレビ録画用のHDレコーダをお持ちでしたら、おそらくこれより大きなデータをそこに格納できるでしょう。しかし、その大きさのデータを人間が解析しようと思った時、それはあまりにも膨大な量で、とても人力でどうにかなるものではありません。本質的にこのデータセットに対しては、プリントアウトしてひとつひとつ見るというようなアナクロな手法は通用しません。パナマ文書は何らかの検索や可視化の技術が利用できなければ、人間には歯が立たないものなのです。
この記事に関連するニュース
-
アライン株式会社、生成AIを利用したファイル検索サービス「デジタルライブラリ」を提供開始
PR TIMES / 2024年7月23日 13時15分
-
モルフォAIソリューションズ、国立情報学研究所から学術論文用のAI-OCR開発を受託
PR TIMES / 2024年7月10日 12時15分
-
オラクル、HeatWave GenAIによる業界初のインデータベースLLMと自動化されたインデータベース・ベクトル・ストアを発表
PR TIMES / 2024年6月30日 22時40分
-
NTT開発のアルゴリズム、スパコン「富岳」の大規模グラフ探索性能を約20%向上
マイナビニュース / 2024年6月25日 15時51分
-
DATAFLUCT、データプラットフォーム「AirLake」のデータ連携コネクタを拡充。HULFT Squareとの連携で、SalesforceやBoxのデータも自動で分析可能に
PR TIMES / 2024年6月25日 11時0分
ランキング
-
1ハリス氏が嫌われる理由 バイデン大統領の後継も「政策能力が怪しい」「白人労働者の支持得られるか…」ただ〝確トラ〟にはまだ早い
zakzak by夕刊フジ / 2024年7月24日 15時16分
-
2フーシ派による紅海海運への脅威拡大、国連イエメン特使が懸念
ロイター / 2024年7月24日 8時23分
-
3【独自】無印良品が韓国の旗艦店「新村店」を今月末で閉店へ
TBS NEWS DIG Powered by JNN / 2024年7月24日 14時17分
-
4米ネットフリックス共同創業者、ハリス氏支持団体に寄付=関係筋
ロイター / 2024年7月24日 10時7分
-
5米トランプ政権復活なら台湾危機も 日本は防衛力増強で備えよ エモット英誌元編集長
産経ニュース / 2024年7月24日 12時11分
複数ページをまたぐ記事です
記事の最終ページでミッション達成してください
![](/pc/img/mission/mission_close_icon.png)