政策研究大学院大学

データが巨大すぎ、BIツールが結果を返せない

GRIPSは、政策研究に特化した大学院大学だ。諸外国の日本担当窓口として働く海外機関の行政官を留学生として受け入れており、新国

立美術館の目の前にあるキャンパスは国際色豊かだ。官公庁に勤める行政官のリカレント・エデュケーションの場として機能するとともに、国

家の政策に関連するビジネスを展開する企業の社会人など、幅広い層の学生が学究活動に取り組んでいる。

そのGRIPSにおいて、日本の研究活動が世界の中でどのような位置づけにあり、その強みと弱みを客観的に導き出そうとしている

プロジェクトがある。

具体的には、世界中で日々発表される論文、特許、助成金などをすべてデータ化し、データベースへ格納。これらを横断的に分析することで、客

観的な証拠に基づくリアルな情報として見られるようにするというものだ。

たとえば、過去の政策とそれにひも付く助成金が、論文や特許としてどのように結実したかを探り、その結果として該当する分野において日本の研究活動が進展したのかどうかを把握することも期待できる。

論文データ、特許データ、研究助成データ、国際統計データ、財務諸表データ、法律文書データ、行政文書データなど様々な種類のデータを集積して、超巨大なデータベースが出来上がった。

Google BigQueryの採用理由

著名なパブリッククラウドのデータハウスを実際にいくつか使ってみたが、どれも満足できる性能ではなかった。そんな中、ビッグデータを高速に扱える性能面に加え、サーバーレスでインスタンス管理などITインフラの整備に時間を使うことなく分析業務に注力したいという思いがBigQueryの採用した理由でした。

Google BigQueryとLookerとの組み合わせ

Lookerは、BIツールだ。ただし、“ふつうのBIツール”とは異なる特色がある。

データの入っているデータベースの構造を可視化し、データをビジュアルに表現するツールではあるのだが、処理はすべてデータベース側に行わせるのだ。そのため、性能はデータベースの能力に依存する。

PoCの実施

Lookerは本採用の前にPoCを実施することを推奨している。それには、いくつかの理由がある。1つは、Looker で扱うデータを蓄積するデータベース側の構造を可視化するために、LookMLという言語を体験してもらいたいからだ。この部分に対してとっつきにくい印象を受けるかもしれないが、LookMLは直感的な言語であり、それほど難しくない。むしろ、ここにレイヤーを噛ませることで、新たなデータ項目を得ることができる。集計や計算などの処理をデータベース側にやらせた上で、データソースにない情報を作り出し、Looker上で見られるようにできるのだ。

そして、重要なのはもう1つの理由。データソース側のデータ項目とデータの意味を正確に理解するためだ。「データソースに入っているが、何を表しているのかわからないデータ」は意外に多く、それらのデータの意味を紐解けば将来の分析を優位に進められる。ただし、今回のケースでは、データソースの意味をだれもが完璧にわかっていた。そのためPoCフェーズは初歩からスタートしたが、最後には極めて実戦的な内容になった。

わずか10秒程度でクエリーが返ってくる

このPoCフェーズで、Lookerが十分にニーズにこたえられることがわかった。これまで途中でメモリがオーバーフローしていたようなクエリーも、10 秒以内に返ってくる。膨大なデータをそのまま分析できるため、BIツールの性能という制約条件を充たすためにデータを準備する必要もない。

ちょうどその期間に、緊急案件が飛び込んできた。その際も、Lookerを使って瞬時にアウトプットを出すことができた。Lookerの操作はわずか十数分。分析処理はわずか10秒程度で返ってくるため、ずっとやりたかった本来の分析プロセスをわずかな時間で完結することができた。

かつては絞り込んだデータをエクスポートし、それを取り込んだExcelで最終化していたような案件だったが、必要な全データを参照しながら極めて短期間に終わらせることができたのだ。非常に強力な分析パートナーを得たと感じた。