Github Actionsで、DigdagのワークフローをTreasure WorkflowにPushするテンプレートを以前サンプルで作ってみた。 blog.torut.tokyo Github Actionsのテンプレートを使わずに、ワークフローを管理するリポジトリの中で完結させ、DigdagのDockerをPullして、…

Treasure Workflow for ビギナー 4本目。Arm Treasure Data Advent Calendar 2019 - Adventarの２日目。 Treasure Workflow for ビギナー - Treasure WorkflowとDigdagのUIの違い - - Secret Ninja Blog Treasure Workflow for ビギナー ~digファイル書き方…

前回のTreasure Workflow for ビギナー記事から2年の月日がたってしまった。 Treasure Workflow for ビギナー 環境構築編 - Secret Ninja Blog Treasure Workflow for ビギナー ~digファイル書き方編~ - Secret Ninja Blog Arm Treasure Data Advent Calenda…

ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン（BigQuery, Redshift, TreasureData, EMRなど）上で行うことも普通になってきた。 このときにSQLで冪等…

Treasure Workflowでなにができるか? TreasureDataには、Treasure Workflowという機能があります。 これで何が実現できるか、というと データのインポートを実施したあとに、SQL Aを実行させて、その後にSQL Bを実行させる。という一連の流れをスケジュール…