Secret Ninja Blog

Toru Takahashi

Secret Ninja - ToruTakahashi - Support Engineering Manager @ TreasureData, Inc.

ビッグデータを支える技術に寄せて

著者の西田さんからビッグデータを支える技術―刻々とデータが脈打つ自動化の世界を献本いただきました。 ありがとうございます。 西田さんとはトレジャーデータ(TD)での仕事仲間としてかれこれ4、5年の付き合いになります。 入社当時、僕個人としてはGoogleを支える技術の著者であることは知っていましたが、社内の一部のメンバ(*1)にはむしろOpenCOBOLの作者ということで知られていたように思います。 当時は、サービスリリースしてまだ日が浅いTDにとって、お客様には分析基盤を提供してはいるものの...

BubbleIQ + ZendeskでSlackのCustomer Channelをいい感じにする

普段のサポートの前提 サポート方法として、Email / Online Chatによるサポートを行なっているサポートツールとして、Zendeskを利用している 背景 Slackが多くの会社で当たり前に使われるようになり、メールよりも様々なトピックや様々なメンバでの会話がしやすいことから、SalesやSales Engineerのon-boardingプロセスの中でも便利に使われるようになっている。特に、顧客との密なコミュニケーションの場所としてSlackチャンネルを作り、導入の支援を行うケース...

Zendesk / Jira / Salesforceを使ったトレジャーデータのカスタマサポートの見える化

背景 トレジャーデータのテクニカルサポートでは、問い合わせ対応・不具合調査・クエリパフォーマンス改善・ドキュメンテーション追加などトレジャーデータに関わる困ったことを何でもサポートしている。 そこでサポートを通して、より良いサービスを提供できるように、サポートの活動状況・問い合わせ傾向などを知ることが必要になる。 そのため、サポートのKPIダッシュボードを種々用意し、KPIを元にデータドリブンより良いサポートを提供できるようにするための取り組みを進めている。 また、サポートのためだけでなく、エンジニ...

ELT時代のワークフローにはData Lineage Trackerが重要になりそう

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等にワークフローを組むことを考えると、中間テーブルをReplaceしつつ色んな処理をするのが手っ取り早い。そのため、テンポラリの中間テーブルを大量に作られていき、最終的には数十テーブルといった...

Treasure Workflow for ビギナー ~digファイル書き方編~

前回では環境構築をしました。 Treasure Workflowでは処理のワークフローを設定するために、.digという拡張子をつけたファイルを作成します。 今回はこのdigファイルの書き方を説明します。 タスクとオペレータについて digファイルには大きく分けて、タスクとオペレータの2種類とパラメータを使って記述をします。 下記の例でいうと、 +XXXX:と記載をしているのがタスクです。タスクは、1つの処理単位を表します。このタスクを直列に並べたり、階段的に配置することでタスクに依存関係を持...

Treasure Workflow for ビギナー ~環境構築編~

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール化させることや、SQL A が完了したら SQL BとSQL Cは並列に実行させて、その後SQL Dを実行し、その結果をAWS S3の実行日の日付をパス名にして出力する などができます。 つまり従来、...

Digdagでpython / ruby operator から Secret parameterを参照する

Digdagではsecretsパラメータを使って認証情報をdigファイル内に記載しないようにすることができる。 例えばローカルで動かすときには、 $ digdag secrets --local --set s3.access_key=xxxx で実現できる。ちなみにローカルの場合には、~/.config/digdag/secrets/s3.access_keyに保持される。 一方でこの情報をpythonやrubyから呼び出したいときには、直接参照するメソッドは現状なさそう。 ちなみにdigda...

Hive 0.13.0 から Hive 2.1.1 までの間に利用可能になったUDF

https://github.com/myui/hive-udf-backports 上記によりHive v0.13でも下記の関数が利用できるようになります。 なので、それぞれのサンプルを簡単に紹介しておこうと思います。 関数の説明については、公式ドキュメントからの引用です。https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF Hive v1.1.0よりReturn TypeNameDescriptionExamp...

Profile

Name: Toru Takahashi History: - 2015-11 ~ Now, Support Engineering Manager in Treasure Data, K.K. - 2015-05 ~ Technical Support Engineer in Treasure Data, K.K. - 2013-04 ~ 2015-04 Software Engineer in SIOS Technology, Inc. - 2011 ~ 2013 Nara Institute...