もりはやメモφ(・ω・ )

インフラなエンジニアからSREへ

きたあず(JAZUG 北海道は札幌支部) #23に参加してきました

きたあず#23に参加してきました 本記事は北海道札幌で行われた JAPAN Azure User Group(JAZUG) の通称 きたあず に参加してきた感想をつらつらと書いたものです。 きたあず#23に参加してきました セッション紹介 Kazumi OHIRA(@dz_) さんの “Azure でサーバ…

初めての音声入力を試してみたよ

初めての音声入力ーパチパチパチパチパチ!!! というわけで本記事は基本的に音声入力を利用しています。 どうして音声入力を利用しようと思ったかと、そのモチベーションを記事にしていきたいと思います。 誰もが世界に対して自由に発信ができる今日、ブロ…

digdagのslaディレクティブを使い、ジョブの意図せぬ長時間実行に対策する

digdagを利用していて時おり困ることの一つに、何らかのジョブ*1がハングなどで長時間実行されてしてしまい、ジョブのキューが溜まり後続のジョブが実行されない問題があります。その対策として sla ディレクティブを利用した、という内容です。 digdagのsla…

メル社さんのSREイベントに参加してきました

2019-09-11に開催された "mercari merpay SRE ✕ microservices platform meetup" の感想を簡単に。 mercari.connpass.com 3行で書くと以下の感想で、学びと刺激と持ち帰りが多い内容に始終圧倒されまして、参加できたことにとても感謝しています。 技術力と…

Embulkでinputするzipファイルをデコードする2つの方法

Embulkではpluginにより様々な形式のファイルをimputとして扱うことができます。今回はzipファイルを解凍(decorde)する二つの方法を紹介します。 利用の仕方 embulk-decoder-commons-compres embulk-decoder-command プラグインを切り替えた訳

PostgreSQLで2バイト文字が含まれるカラムかを調査する方法

これは PostgreSQLで文字列型のカラムに 2バイト文字 が含まれるかを調査する方法です。まさかこんな調査が必要になるとは思っていなかったのですが、必要になったのでやりました。 これは TL;DR charの場合 varcharの場合 検証 テストテーブルの作成&テス…

AWXのバージョンアップをしました (2.1.0 -> 4.0.0)

AWX4.0.0 TL;DR 最初にバージョンアップについて調べました サーバ 手順 pipでtower-cliを導入(初回のみでいいはず) tower-cliをセットアップ AWXの情報をバックアップ(結局使わなかった) PostgreSQLのバックアップ(結局使わなかった) アップグレード ハマ…

datadogのMulti-Organizationを開始するまで

これは datadogを使っている状況で、新システムについては請求額や利用者を分割したい要望が出たため、Multiple-Organizationと言う機能を利用したい、と言う話です。 結論としては Multiple-Organizationは便利でした。 左下の自分のアイコンから表示される…

Embulkのfilter pluginが定義ミスで読まれなかったメモ

これは ものすごいしょーもないミスでembulkのfilterプラグインが読まれなかった事象に遭遇したのでメモ 何がどうだった filters: とすべきところを filter: とsなしで記載した結果 embulkの処理自体は実行される(書式エラーとして判定されない) filterプラ…

AWS Code兄弟の自分なりの理解メモ殴り書き

これは AWSのCode兄弟を最近触り始めていて、雰囲気がわかったので一度言語化しておこう&ブログ止まっててまずいので小ネタで、という記事 想定読者 完全に自分 EC2へのデプロイ(Lambda/ECSは出てこない) GitLabCIとかJenkinsでパイプラインは作ってきた 完…

Jenkinsfileでタイムスケジュール実行

Jenkinsfileでcron定期実行指定 v2になってから久しい*1Jenkinsですが、Jenkinsfileによるジョブのコード化がとても良いです。 小ネタでJenkinsfileでのcron実行の方法を調べたのでメモです。 Documentのcron-syntaxに書いてある通りなのですが、以下のよう…

ブースから見た光景@デブサミ2019

morihaya デブサミ2019に「健康スポンサー」として弊社(オイラ大地)もブースを出す幸運に恵まれ、加えて中の人をやってきましたのでその感想を綴ります。 event.shoeisha.jp デブサミとは 豪華なスポンサー陣 We are "健康スポンサー" !! ブースから見える…

pyenvのpython環境で'_lzma'が存在しなかった時の対応メモ

pyenvのpython環境で'_lzma'が存在しなかった時の対応メモです。分析チームメンバの一人から「 _lzma が無いよ助けてー」と言われて対応しました。 対象環境 対応方法 解決に到るまでの経緯メモ CIrcleCIのフォーラムに目を通したけど 流石の もみじあめ さ…

AWS S3でバケット自体も中身も削除禁止のバケットを作る

AWS

「Glueを使ってRDSからS3にコールドデータを出力し、Athenaでクエリ実行できるようにする」みたいな検証を行なっていて、間違ってもS3のデータを削除されては困るという要件が出てきて調べたのでメモ。 S3のPolicyでできる ポイント その他 Glueのロールだけ…

Backlog World 2019に参加してLTもしてきた

本日Backlog World 2019に参加して非常にエモみを充電してきたのでテンションとアルコールが抜け切らないうちに感想を書きなぐります。 backlogworld2019.jbug.info はじめに 会場について セッションについて 基調講演 「田舎の木材工場で起きた奇跡」と、…

Neo4j ユーザー勉強会 #19 に参加して挨拶がてらLTもしてきました

Neo4j ユーザー勉強会 #19に参加してきたので感想メモです。 はじめに イベント yFiles Programming Libraries Overview (Short Video) Graph Based AI/ML グラフデータの視覚化について ライトニングトーク(Lightning Talks) 懇親を通してのメモ はじめに N…

Ansibleのエラー結果を見やすくする"ANSIBLE_STDOUT_CALLBACK=yaml"が良いです

Ansibleのエラー結果、デフォルトだと以下のように1行で表示されて大変読みづらいです。 結論を先に言ってしまうと以下コマンドを実行してからansibleしましょう、という話です。 export ANSIBLE_STDOUT_CALLBACK=yaml 読みづらいエラーの具体例としては以下…

SRE Lounge #7の感想

SRE Lounge #7に参加してきて、週末の疲れと軽いアルコールが体を回っているため寝ようと思ったのですが、どうにもテンションが収まらないので気持ちを文章に起こすことにします。おそらく文章としては荒い内容になるでしょうがそれもエモみですね。 目次 は…

Mac(Mojave)で販売終了済みのbrother DCP-750CNのスキャナ設定をした

我が家にはDCP-750CNというBrotherのインクジェットプリンタ&スキャナがありまして、まだ現役稼働しています。 2018年3月に自宅作業マシンもMacBookProに変更したのですが、スキャナ機能は滅多に使わないため特に設定せずに放置してました。 本日スキャンす…

digdagで繰り返し処理をする時に使うOperators(loop , for_each , for_range)

最近はちょくちょくdigdagのdigファイルを書くことがあり、毎回ドキュメントを見ながら思い出している"繰り返し処理"について自分でまとめておきたいと思います。 はじめに loop operator for_each operator for_eachの処理数の最大値は1000(default) for_ea…

新年なので中学英文法をおさらいしました

新年ということで英語学習への気持ちを新たに「スーパーステップ 中学英文法」を読みました。 Qiitaでバスった英語学習記事でも紹介されている本で、買ったは良いものの途中まで読んで積読化してました。今回はなんとか再開して読み通すことができたので感想…

2019年の目標

明けましておめでとうございます。2019年始まりましたね。気持ちを新たに今年の目標を掲げたいと思います。 目標の立て方について 基本的にモノグサな人間なので、背伸びした目標を立てても達成できる気がしません。皮算用な目標を立てても意味がないし、む…

2018年の振り返り

今年も残すこと僅かというところで、1年の振り返りをします。2019年の目標は別で書きます。 転職したこと 前職について 現職について プライベートについて エンジニアとして インプットについて アウトプットについて まとめ

SRE本の素晴らしさについて語ってみる

SREって本当に素晴らしいですね! これはSRE Advent Calendar 2018の19日目の記事です。 昨日はkazumax55さんのWebセキュリティ対策例でした。失敗談も踏まえた脆弱性診断の事例が紹介されていて学びがありましたが、個人的ハイライトとしては文面が全体的に…

GlueとAthenaの備忘メモ

AWSのGlueとAthenaを勉強しており、現時点のメモを残しておきます。 (完全に自分用になっています) やりたいこと RDS上の特定のテーブルのスナップショットを、Athenaで検索できる状態でS3上にGlueで出力させる。 出力タイミングは日次&アドホック。 glue …

RDS PostgreSQLからRDS Aurora PostgreSQLへDMSでデータ同期してみる

ふと、AWS上のpostgresってどうやってデータ同期するんだろうと疑問に思ったので検証してみたメモです。 オンプレでネイティブなpostgresならデータ同期にはいくつかのパターンがあってざっくり以下だと認識しています。 ver9以上で同期元と同期先が同じバー…

マイクロサービスアーキテクチャ本の感想(6章)

お正月の長期連休が遥か昔のように感じていますが、ぼちぼちやっていきましょう。さて O'Reillyのマイクロサービスアーキテクチャ本感想の第6回です。 6章「デプロイ」を読んで 6章は以前から興味はあったけれど実践はできていない"CI/CD"について語られてい…

マイクロサービスアーキテクチャ本の感想(5章)

そろそろ正月気分も抜けてきました。 O'Reillyのマイクロサービスアーキテクチャ本感想の第5回です。 5章「モノリスの分解」を読んで 4章の統合に対し、5章では既存のモノリシックなアプリケーションをどうやって分割していくかの話になります。 コンテキス…

マイクロサービスアーキテクチャ本の感想(4章の後半)

まだまだ正月気分が続きますが、O'Reillyのマイクロサービスアーキテクチャ本感想の第4回です。 4章「統合」を読んでの続き バージョニングについて この節ではマイクロサービスにおけるバージョニングについて説明があります。マイクロサービスの内部として…

マイクロサービスアーキテクチャ本の感想(4章の前半)

始まる前は長いと思っていたお正月休みも終わってしまいますね。 O'Reillyのマイクロサービスアーキテクチャ本感想の第3回です。 4章「統合」を読んで 4章はまず、そのボリュームに圧倒されます。実ページ数で47Pもあり、これは1章の13P、2章の17P、3章の10P…