Secret Ninja Blog

Toru Takahashi

Secret Ninja - ToruTakahashi - Support Engineering Manager @ TreasureData, Inc.

Zendesk / Jira / Salesforceを使ったトレジャーデータのカスタマサポートの見える化

背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供できるように、サポートの活動状況・問い合わせ傾向などを知ることが必要になる。 そのため、サポートのKPIダッシュボードを種々用意し、KPIを元にデータドリブンより良いサポートを提供できるようにするための取り組みを進めている。 また、サポートのためだけでなく、エンジニ...

ELT時代のワークフローにはData Lineage Trackerが重要になりそう

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等にワークフローを組むことを考えると、中間テーブルをReplaceしつつ色んな処理をするのが手っ取り早い。そのため、テンポラリの中間テーブルを大量に作られていき、最終的には数十テーブルといった...

Treasure Workflow for ビギナー ~digファイル書き方編~

前回では環境構築をしました。 Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明します。 タスクとオペレータについて digファイルには大きく分けて、タスクとオペレータの2種類とパラメータを使って記述をします。 下記の例でいうと、 +XXXX:と記載をしているのがタスクです。タスクは、1つの処理単位を表します。このタスクを直列に並べたり、階段的に配置することでタスクに依存関係を持...

Treasure Workflow for ビギナー ~環境構築編~

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール化させることや、SQL A が完了したら SQL BとSQL Cは並列に実行させて、その後SQL Dを実行し、その結果をAWS S3の実行日の日付をパス名にして出力する などができます。 つまり従来、...

Digdagでpython / ruby operator から Secret parameterを参照する

Digdagではsecretsパラメータを使って認証情報をdigファイル内に記載しないようにすることができる。 例えばローカルで動かすときには、 $ digdag secrets --local --set s3.access_key=xxxx で実現できる。ちなみにローカルの場合には、~/.config/digdag/secrets/s3.access_keyに保持される。 一方でこの情報をpythonやrubyから呼び出したいときには、直接参照するメソッドは現状なさそう。 ちなみにdigda...

Hive 0.13.0 から Hive 2.1.1 までの間に利用可能になったUDF

https://github.com/myui/hive-udf-backports 上記によりHive v0.13でも下記の関数が利用できるようになります。 なので、それぞれのサンプルを簡単に紹介しておこうと思います。 関数の説明については、公式ドキュメントからの引用です。https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF Hive v1.1.0よりReturn TypeNameDescriptionExamp...

Profile

Name: Toru Takahashi History: - 2015-11 ~ Now, Support Engineering Manager in Treasure Data, K.K. - 2015-05 ~ Technical Support Engineer in Treasure Data, K.K. - 2013-04 ~ 2015-04 Software Engineer in SIOS Technology, Inc. - 2011 ~ 2013 Nara Institute...