Secret Ninja Blog

Support Engineering Manager してます

Treasure Workflow for ビギナー - Treasure WorkflowとDigdagのUIの違い -

前回のTreasure Workflow for ビギナー記事から2年の月日がたってしまった。

Arm Treasure Data Advent Calendar 2019 - Adventar 1日目の記事です。

さて、Treasure WorkflowはOSSとして提供されているdigdagと呼ばれるワークフローエンジンをベースに構築されています。 基本的な機能は同じですが、大きく違う点が1つあります。 それがTreasure DataのWeb Consoleに組み込まれたWorkflow UIです。

UIの違いについて、スクリーンショットで掲載していきます。

プロジェクト一覧

Digdagのプロジェクト一覧を下記のように参照できます。

Workflow UI

プロジェクトを検索したり、ワークフローの実行履歴を一覧することができます。

https://t.gyazo.com/teams/treasure-data/71b7f2a4554f26b881a5353f6d7d5dc9.png

digdag UI

f:id:toru-takahashi:20191117151216p:plain

新規プロジェクト作成

UI上からプロジェクトを新規作成することができます。

Workflow UI

Workflow UIではテンプレートを元に新規作成をすることができます。

f:id:toru-takahashi:20191117150407p:plain

digdag UI

f:id:toru-takahashi:20191117151342p:plain

エディタ画面

エディタ画面ではdigファイルやSQLファイルの編集を行うことも可能です。

Workflow UI

https://t.gyazo.com/teams/treasure-data/f6dd9c2ff7096d31aee5fc771c28e134.png

digdag UI

f:id:toru-takahashi:20191117151435p:plain

実行ログ画面

各タスクの処理時間を眺めて、処理の遅いタスクに見つけることができます。 Workflow Consoleでは、TreasureData上のジョブリンクなどもついているため、遷移が簡単ですね。

Workflow UI

f:id:toru-takahashi:20191117150238p:plain

f:id:toru-takahashi:20191117150743p:plain

digdag UI

f:id:toru-takahashi:20191117151459p:plain

UIでできないこと

2019年12月時点では下記のことをUIから実行することができず、CLIを利用する必要があります。

  • 過去RevisionへのRevert
  • Projectファイルの一括ダウンロード
  • Githubなどへのシームレスなインテグレーション

さいごに

サービスを開発する上でOSSと実際のプロダクト開発のバランスを取るというのは非常に難しく、十二分な人的リソースがないとなかなか注力できません。 日本でもDigdag / Treasure Workflowを開発するエンジニアを募集しているので、ご興味がある方はぜひ!

Arm Treasure Data - Backend Workflow Engineer