Secret Ninja Blog

Support Engineering Manager してます

Embulkでサンプルレコードを生成したいときの"config" input

embulk-outputプラグインを書いている時に、テスト用のJSONデータを生成するために、embulk-input-inlineを使っていたのですが、 Arrayの['xx', 'yyy']といった配列っぽいデータを生成させようとしたところ、inline pluginではかならずkey:valueのJSONを期待…

ビッグデータを支える技術に寄せて

著者の西田さんからビッグデータを支える技術―刻々とデータが脈打つ自動化の世界を献本いただきました。 ありがとうございます。 西田さんとはトレジャーデータ(TD)での仕事仲間としてかれこれ4、5年の付き合いになります。 入社当時、僕個人としてはGoo…

BubbleIQ + ZendeskでSlack上のサポート対応を効率よくする

普段のサポートの前提 サポート方法として、Email / Online Chatによるサポートを行なっている サポートツールとして、Zendeskを利用している 背景 Slackが多くの会社で当たり前に使われるようになり、メールよりも様々なトピックや様々なメンバでの会話がし…

Zendesk / Salesforce / TreasureDataを使ったTreasureDataのカスタマサポートの見える化

背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供で…

ELT時代のワークフローにはData Lineage Trackerが重要になりそう

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等…

Treasure Workflow for ビギナー ~digファイル書き方編~

前回は、Treasure Workflowを扱う前のPC環境のセットアップをしました。 secret-ninja.hatenablog.com Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明しま…

Treasure Workflow for ビギナー 環境構築編

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…