背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供で…
ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等…
前回は、Treasure Workflowを扱う前のPC環境のセットアップをしました。 secret-ninja.hatenablog.com Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明しま…
Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…
サポートでは、Zendesk / Zendesk Chatを使ってConsole上からチャットなどができたり、チケットを起票することができるようになっている。 その一方で、Sales / Sales Engineer側では、onboardingの一環として顧客との間でSlackのチャンネルを作り、そこで細…
Digdagではsecretsパラメータを使って認証情報をdigファイル内に記載しないようにすることができる。 例えばローカルで動かすときには、 $ digdag secrets --local --set s3.access_key=xxxx で実現できる。ちなみにローカルの場合には、~/.config/digdag/se…