もりはやメモφ(・ω・ )

ITとか読書感想文とか

digdagのslaディレクティブを使い、ジョブの意図せぬ長時間実行に対策する

digdagを利用していて時おり困ることの一つに、何らかのジョブ*1がハングなどで長時間実行されてしてしまい、ジョブのキューが溜まり後続のジョブが実行されない問題があります。その対策として sla ディレクティブを利用した、という内容です。 digdagのsla…

メル社さんのSREイベントに参加してきました

2019-09-11に開催された "mercari merpay SRE ✕ microservices platform meetup" の感想を簡単に。 mercari.connpass.com 3行で書くと以下の感想で、学びと刺激と持ち帰りが多い内容に始終圧倒されまして、参加できたことにとても感謝しています。 技術力と…

Embulkでinputするzipファイルをデコードする2つの方法

Embulkではpluginにより様々な形式のファイルをimputとして扱うことができます。今回はzipファイルを解凍(decorde)する二つの方法を紹介します。 利用の仕方 embulk-decoder-commons-compres embulk-decoder-command プラグインを切り替えた訳

PostgreSQLで2バイト文字が含まれるカラムかを調査する方法

これは PostgreSQLで文字列型のカラムに 2バイト文字 が含まれるかを調査する方法です。まさかこんな調査が必要になるとは思っていなかったのですが、必要になったのでやりました。 これは TL;DR charの場合 varcharの場合 検証 テストテーブルの作成&テス…

AWXのバージョンアップをしました (2.1.0 -> 4.0.0)

AWX4.0.0 TL;DR 最初にバージョンアップについて調べました サーバ 手順 pipでtower-cliを導入(初回のみでいいはず) tower-cliをセットアップ AWXの情報をバックアップ(結局使わなかった) PostgreSQLのバックアップ(結局使わなかった) アップグレード ハマ…

datadogのMulti-Organizationを開始するまで

これは datadogを使っている状況で、新システムについては請求額や利用者を分割したい要望が出たため、Multiple-Organizationと言う機能を利用したい、と言う話です。 結論としては Multiple-Organizationは便利でした。 左下の自分のアイコンから表示される…

Embulkのfilter pluginが定義ミスで読まれなかったメモ

これは ものすごいしょーもないミスでembulkのfilterプラグインが読まれなかった事象に遭遇したのでメモ 何がどうだった filters: とすべきところを filter: とsなしで記載した結果 embulkの処理自体は実行される(書式エラーとして判定されない) filterプラ…