著者の西田さんからビッグデータを支える技術―刻々とデータが脈打つ自動化の世界を献本いただきました。 ありがとうございます。
西田さんとはトレジャーデータ（TD）での仕事仲間としてかれこれ４、５年の付き合いになります。 入社当時、僕個人としてはGoogleを支える技術の著者であることは知っていましたが、社内の一部のメンバ(*1)にはむしろOpenCOBOLの作者ということで知られていたように思います。
当時は、サービスリリースしてまだ日が浅いTDにとって、お客様には分析基盤を提供してはいるものの、 社内のデータ分析基盤は未整備であり、TDにログは貯めているが知っている人しかデータ抽出ができない、という状態でした。 こうした状態の社内のデータ分析基盤を黙々と整備し、またその過程でluigi-td, pandas-td, tdbot（社内用slack bot）といった種々の便利なライブラリの作成を行うだけでなく、 データマートやTableau / Looker などの社内KPIダッシュボードの作成といった、まさにトレジャーデータのデータエンジニアリングを行なっていた方でした。 さらにそれだけでなく、TDサービスの運用、Sales Engineerのサポートなども行い、ベンチャーでありがちな人員不足な箇所を様々な形で適切なタイミングで支援し、またそれぞれで素晴らしい役割を果たされていました。
本書籍は、まさにTDのデータエンジニアリングや種々の案件を通して得られた知見を元に、ビッグデータを取り巻くソフトウェア・テクニックなどを汎用的に体系立て、かつ平易な言葉で解説されています。 なぜビッグデータを扱うのか、そしてデータのパイプラインの作り方、データマートの必要性、ストリーミング型・バルク型のインポート、またそれらをただ使い方の説明をするのではなく、データと実現したいことによって、適切なアーキテクチャがそれぞれあることを紹介してくれています。
本書籍を通して、すでに自社で素晴らしいデータ分析基盤を構築している方には知識の体系化という意味で役に立つ一冊であり、また、データ分析基盤でお困りの方にとっては、これからの道しるべとなる一冊になるでしょう。
*1 一部のメンバは、COBOLマイグレーションとかを昔はしてたことがあるらしい
