digdagのループ for_each 利用時の _parallel 指定について仕様を調べたのでメモ。 公式ドキュメントの Parallel execution にある通り「子タスクには効果があるが、孫タスクには効果が無い」ことを確認します。 If _parallel: true parameter is set to a g…
検証で利用していたAWS Workspacesのお掃除をしていたところ、以下のエラーが発生して消せなくて焦りました。 An Error Has Occurred Cannot delete the directory because it still has authorized applications. Additional directory details can be view…
開発者から「IPアドレスの一覧が欲しい」と言われて必要になったので作りました。メモとして残しておきます。 aws ec2 describe-instances | jq -c '.Reservations[].Instances[] | [ (.Tags[]? | select(.Key == "Name")).Value, .PrivateIpAddress, .Publi…
1/15に 行われた Prometheus Meetup Tokyo #3 にブログ枠で参加してきました。 prometheus.connpass.com Prometheusと私 昔ちょっとだけ触った 今は全然触ってない... 参加のモチベーション Prometheus Meetup Tokyo #3の感想 会場 1 - Remote Write API と …
S3のWebページリダイレクト機能をお試しして、これは便利だ、となった作業メモです。 経緯 作業メモ S3バケットの作成 テストファイルの配置 まとめ
いよいよ冬休みが終わってしまい、明日から仕事始めというタイミングで今年の目標を掲げておきます。昨年やった「心技体」での目標設定は意外としっくり来た感があるのでそれを継続します。 心の目標 技の目標 体の目標 振り返りの実践 終わり
年の瀬に何やってんだという感じではありますが、ちょっとしたタスク整理でALB一式をTerraformに落としたくなる場面があったので作業メモを残します。*1 試行錯誤した結果をそのままメモとして残していきますので、上級者が良いやり方をまとめた記事ではない…
いよいよ本当に年の瀬が迫ってきたので、2019年を振り返ります。年の初めに目標をこのブログに書いておいたので、それを見ながらやります。 blog.morihaya.tech
きたあず#23に参加してきました 本記事は北海道札幌で行われた JAPAN Azure User Group(JAZUG) の通称 きたあず に参加してきた感想をつらつらと書いたものです。 きたあず#23に参加してきました セッション紹介 Kazumi OHIRA(@dz_) さんの “Azure でサーバ…
初めての音声入力ーパチパチパチパチパチ！！！ というわけで本記事は基本的に音声入力を利用しています。 どうして音声入力を利用しようと思ったかと、そのモチベーションを記事にしていきたいと思います。 誰もが世界に対して自由に発信ができる今日、ブロ…
digdagを利用していて時おり困ることの一つに、何らかのジョブ*1がハングなどで長時間実行されてしてしまい、ジョブのキューが溜まり後続のジョブが実行されない問題があります。その対策として sla ディレクティブを利用した、という内容です。 digdagのsla…
2019-09-11に開催された "mercari merpay SRE ✕ microservices platform meetup" の感想を簡単に。 mercari.connpass.com 3行で書くと以下の感想で、学びと刺激と持ち帰りが多い内容に始終圧倒されまして、参加できたことにとても感謝しています。 技術力と…
Embulkではpluginにより様々な形式のファイルをimputとして扱うことができます。今回はzipファイルを解凍(decorde)する二つの方法を紹介します。 利用の仕方 embulk-decoder-commons-compres embulk-decoder-command プラグインを切り替えた訳
これは PostgreSQLで文字列型のカラムに 2バイト文字 が含まれるかを調査する方法です。まさかこんな調査が必要になるとは思っていなかったのですが、必要になったのでやりました。 これは TL;DR charの場合 varcharの場合 検証 テストテーブルの作成＆テス…
AWX4.0.0 TL;DR 最初にバージョンアップについて調べました サーバ 手順 pipでtower-cliを導入(初回のみでいいはず) tower-cliをセットアップ AWXの情報をバックアップ(結局使わなかった） PostgreSQLのバックアップ(結局使わなかった） アップグレード ハマ…
これは datadogを使っている状況で、新システムについては請求額や利用者を分割したい要望が出たため、Multiple-Organizationと言う機能を利用したい、と言う話です。 結論としては Multiple-Organizationは便利でした。 左下の自分のアイコンから表示される…
これは ものすごいしょーもないミスでembulkのfilterプラグインが読まれなかった事象に遭遇したのでメモ 何がどうだった filters: とすべきところを filter: とsなしで記載した結果 embulkの処理自体は実行される(書式エラーとして判定されない) filterプラ…
これは AWSのCode兄弟を最近触り始めていて、雰囲気がわかったので一度言語化しておこう＆ブログ止まっててまずいので小ネタで、という記事 想定読者 完全に自分 EC2へのデプロイ(Lambda/ECSは出てこない) GitLabCIとかJenkinsでパイプラインは作ってきた 完…
Jenkinsfileでcron定期実行指定 v2になってから久しい*1Jenkinsですが、Jenkinsfileによるジョブのコード化がとても良いです。 小ネタでJenkinsfileでのcron実行の方法を調べたのでメモです。 Documentのcron-syntaxに書いてある通りなのですが、以下のよう…
morihaya デブサミ2019に「健康スポンサー」として弊社（オイラ大地）もブースを出す幸運に恵まれ、加えて中の人をやってきましたのでその感想を綴ります。 event.shoeisha.jp デブサミとは 豪華なスポンサー陣 We are "健康スポンサー" !! ブースから見える…
pyenvのpython環境で'_lzma'が存在しなかった時の対応メモです。分析チームメンバの一人から「 _lzma が無いよ助けてー」と言われて対応しました。 対象環境 対応方法 解決に到るまでの経緯メモ CIrcleCIのフォーラムに目を通したけど 流石の もみじあめ さ…
「Glueを使ってRDSからS3にコールドデータを出力し、Athenaでクエリ実行できるようにする」みたいな検証を行なっていて、間違ってもS3のデータを削除されては困るという要件が出てきて調べたのでメモ。 S3のPolicyでできる ポイント その他 Glueのロールだけ…
本日Backlog World 2019に参加して非常にエモみを充電してきたのでテンションとアルコールが抜け切らないうちに感想を書きなぐります。 backlogworld2019.jbug.info はじめに 会場について セッションについて 基調講演 「田舎の木材工場で起きた奇跡」と、…
Neo4j ユーザー勉強会 #19に参加してきたので感想メモです。 はじめに イベント yFiles Programming Libraries Overview (Short Video) Graph Based AI/ML グラフデータの視覚化について ライトニングトーク(Lightning Talks) 懇親を通してのメモ はじめに N…
Ansibleのエラー結果、デフォルトだと以下のように1行で表示されて大変読みづらいです。 結論を先に言ってしまうと以下コマンドを実行してからansibleしましょう、という話です。 export ANSIBLE_STDOUT_CALLBACK=yaml 読みづらいエラーの具体例としては以下…
SRE Lounge #7に参加してきて、週末の疲れと軽いアルコールが体を回っているため寝ようと思ったのですが、どうにもテンションが収まらないので気持ちを文章に起こすことにします。おそらく文章としては荒い内容になるでしょうがそれもエモみですね。 目次 は…
我が家にはDCP-750CNというBrotherのインクジェットプリンタ＆スキャナがありまして、まだ現役稼働しています。 2018年3月に自宅作業マシンもMacBookProに変更したのですが、スキャナ機能は滅多に使わないため特に設定せずに放置してました。 本日スキャンす…
最近はちょくちょくdigdagのdigファイルを書くことがあり、毎回ドキュメントを見ながら思い出している"繰り返し処理"について自分でまとめておきたいと思います。 はじめに loop operator for_each operator for_eachの処理数の最大値は1000(default) for_ea…
新年ということで英語学習への気持ちを新たに「スーパーステップ 中学英文法」を読みました。 Qiitaでバスった英語学習記事でも紹介されている本で、買ったは良いものの途中まで読んで積読化してました。今回はなんとか再開して読み通すことができたので感想…
明けましておめでとうございます。2019年始まりましたね。気持ちを新たに今年の目標を掲げたいと思います。 目標の立て方について 基本的にモノグサな人間なので、背伸びした目標を立てても達成できる気がしません。皮算用な目標を立てても意味がないし、む…
