Digdag - もりはやメモφ(・ω・ )

2020-07-31 digdagでファイルシステム上のファイルをチェックして if> operator につなげるサンプル
既存システムとの連携などが、ファイルシステム上のファイルの有無による「フラグファイル」で行われることがままあります。ファイルの存在のチェックし、その結果をdigdagの if> operator でやってみたという小ネタです。
小ネタ Digdag
2020-04-15 digdagのループ for_each 利用時の _parallel 指定について
digdagのループ for_each 利用時の _parallel 指定について仕様を調べたのでメモ。公式ドキュメントの Parallel execution にある通り「子タスクには効果があるが、孫タスクには効果が無い」ことを確認しま …
小ネタ Digdag
2019-10-15 digdagのslaディレクティブを使い、ジョブの意図せぬ長時間実行に対策する
digdagを利用していて時おり困ることの一つに、何らかのジョブ1がハングなどで長時間実行されてしてしまい、ジョブのキューが溜まり後続のジョブが実行されない問題があります。その対策として sla ディレクティブを利用した、という内容です。 …
Digdag 小ネタ
2019-01-13 digdagで繰り返し処理をする時に使うOperators(loop , for_each , for_range)
最近はちょくちょくdigdagのdigファイルを書くことがあり、毎回ドキュメントを見ながら思い出している"繰り返し処理"について自分でまとめておきたいと思います。はじめに公式ドキュメントは以下です。繰り返し処理を行う …
Digdag

カテゴリ: Digdag