著者の西田さんからビッグデータを支える技術―刻々とデータが脈打つ自動化の世界を献本いただきました。 ありがとうございます。 西田さんとはトレジャーデータ（TD）での仕事仲間としてかれこれ４、５年の付き合いになります。 入社当時、僕個人としてはGoo…

普段のサポートの前提 サポート方法として、Email / Online Chatによるサポートを行なっている サポートツールとして、Zendeskを利用している 背景 Slackが多くの会社で当たり前に使われるようになり、メールよりも様々なトピックや様々なメンバでの会話がし…

背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供で…

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン（BigQuery, Redshift, TreasureData, EMRなど）上で行うことも普通になってきた。 このときにSQLで冪等…

前回は、Treasure Workflowを扱う前のPC環境のセットアップをしました。 secret-ninja.hatenablog.com Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明しま…

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…

サポートでは、Zendesk / Zendesk Chatを使ってConsole上からチャットなどができたり、チケットを起票することができるようになっている。 その一方で、Sales / Sales Engineer側では、onboardingの一環として顧客との間でSlackのチャンネルを作り、そこで細…