Secret Ninja Blog

Support Engineering Manager してます

Zendesk / Salesforce / TreasureDataを使ったTreasureDataのカスタマサポートの見える化

背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供で…

ELT時代のワークフローにはData Lineage Trackerが重要になりそう

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等…

Treasure Workflow for ビギナー ~digファイル書き方編~

前回は、Treasure Workflowを扱う前のPC環境のセットアップをしました。 secret-ninja.hatenablog.com Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明しま…

Treasure Workflow for ビギナー 環境構築編

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…

memo: Slackbotと絵文字を使ってSlackのサポートをZendeskに記録できるようにする

サポートでは、Zendesk / Zendesk Chatを使ってConsole上からチャットなどができたり、チケットを起票することができるようになっている。 その一方で、Sales / Sales Engineer側では、onboardingの一環として顧客との間でSlackのチャンネルを作り、そこで細…

Digdagでpython / ruby operator から Secret parameterを参照する

Digdagではsecretsパラメータを使って認証情報をdigファイル内に記載しないようにすることができる。 例えばローカルで動かすときには、 $ digdag secrets --local --set s3.access_key=xxxx で実現できる。ちなみにローカルの場合には、~/.config/digdag/se…