Secret Ninja Blog

Support Engineering Manager してます

TreasureWorkflow

Treasure Workflow for ビギナー - Treasure Workflowで失敗したタスクを再実行する

Treasure Workflow for ビギナー 4本目。Arm Treasure Data Advent Calendar 2019 - Adventarの2日目。 Treasure Workflow for ビギナー - Treasure WorkflowとDigdagのUIの違い - - Secret Ninja Blog Treasure Workflow for ビギナー ~digファイル書き方…

Treasure Workflow for ビギナー - Treasure WorkflowとDigdagのUIの違い -

前回のTreasure Workflow for ビギナー記事から2年の月日がたってしまった。 Treasure Workflow for ビギナー 環境構築編 - Secret Ninja Blog Treasure Workflow for ビギナー ~digファイル書き方編~ - Secret Ninja Blog Arm Treasure Data Advent Calenda…

ELT時代のワークフローにはData Lineage Trackerが重要になりそう

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン(BigQuery, Redshift, TreasureData, EMRなど)上で行うことも普通になってきた。 このときにSQLで冪等…

Treasure Workflow for ビギナー 環境構築編

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…