Embulkではpluginにより様々な形式のファイルをimputとして扱うことができます。今回はzipファイルを解凍(decorde)する二つの方法を紹介します。 利用の仕方 embulk-decoder-commons-compres embulk-decoder-command プラグインを切り替えた訳
これは PostgreSQLで文字列型のカラムに 2バイト文字 が含まれるかを調査する方法です。まさかこんな調査が必要になるとは思っていなかったのですが、必要になったのでやりました。 これは TL;DR charの場合 varcharの場合 検証 テストテーブルの作成＆テス…
AWX4.0.0 TL;DR 最初にバージョンアップについて調べました サーバ 手順 pipでtower-cliを導入(初回のみでいいはず) tower-cliをセットアップ AWXの情報をバックアップ(結局使わなかった） PostgreSQLのバックアップ(結局使わなかった） アップグレード ハマ…
これは datadogを使っている状況で、新システムについては請求額や利用者を分割したい要望が出たため、Multiple-Organizationと言う機能を利用したい、と言う話です。 結論としては Multiple-Organizationは便利でした。 左下の自分のアイコンから表示される…
これは ものすごいしょーもないミスでembulkのfilterプラグインが読まれなかった事象に遭遇したのでメモ 何がどうだった filters: とすべきところを filter: とsなしで記載した結果 embulkの処理自体は実行される(書式エラーとして判定されない) filterプラ…
これは AWSのCode兄弟を最近触り始めていて、雰囲気がわかったので一度言語化しておこう＆ブログ止まっててまずいので小ネタで、という記事 想定読者 完全に自分 EC2へのデプロイ(Lambda/ECSは出てこない) GitLabCIとかJenkinsでパイプラインは作ってきた 完…
Jenkinsfileでcron定期実行指定 v2になってから久しい*1Jenkinsですが、Jenkinsfileによるジョブのコード化がとても良いです。 小ネタでJenkinsfileでのcron実行の方法を調べたのでメモです。 Documentのcron-syntaxに書いてある通りなのですが、以下のよう…
morihaya デブサミ2019に「健康スポンサー」として弊社（オイラ大地）もブースを出す幸運に恵まれ、加えて中の人をやってきましたのでその感想を綴ります。 event.shoeisha.jp デブサミとは 豪華なスポンサー陣 We are "健康スポンサー" !! ブースから見える…
pyenvのpython環境で'_lzma'が存在しなかった時の対応メモです。分析チームメンバの一人から「 _lzma が無いよ助けてー」と言われて対応しました。 対象環境 対応方法 解決に到るまでの経緯メモ CIrcleCIのフォーラムに目を通したけど 流石の もみじあめ さ…
「Glueを使ってRDSからS3にコールドデータを出力し、Athenaでクエリ実行できるようにする」みたいな検証を行なっていて、間違ってもS3のデータを削除されては困るという要件が出てきて調べたのでメモ。 S3のPolicyでできる ポイント その他 Glueのロールだけ…
本日Backlog World 2019に参加して非常にエモみを充電してきたのでテンションとアルコールが抜け切らないうちに感想を書きなぐります。 backlogworld2019.jbug.info はじめに 会場について セッションについて 基調講演 「田舎の木材工場で起きた奇跡」と、…
Neo4j ユーザー勉強会 #19に参加してきたので感想メモです。 はじめに イベント yFiles Programming Libraries Overview (Short Video) Graph Based AI/ML グラフデータの視覚化について ライトニングトーク(Lightning Talks) 懇親を通してのメモ はじめに N…
Ansibleのエラー結果、デフォルトだと以下のように1行で表示されて大変読みづらいです。 結論を先に言ってしまうと以下コマンドを実行してからansibleしましょう、という話です。 export ANSIBLE_STDOUT_CALLBACK=yaml 読みづらいエラーの具体例としては以下…
SRE Lounge #7に参加してきて、週末の疲れと軽いアルコールが体を回っているため寝ようと思ったのですが、どうにもテンションが収まらないので気持ちを文章に起こすことにします。おそらく文章としては荒い内容になるでしょうがそれもエモみですね。 目次 は…
我が家にはDCP-750CNというBrotherのインクジェットプリンタ＆スキャナがありまして、まだ現役稼働しています。 2018年3月に自宅作業マシンもMacBookProに変更したのですが、スキャナ機能は滅多に使わないため特に設定せずに放置してました。 本日スキャンす…
最近はちょくちょくdigdagのdigファイルを書くことがあり、毎回ドキュメントを見ながら思い出している"繰り返し処理"について自分でまとめておきたいと思います。 はじめに loop operator for_each operator for_eachの処理数の最大値は1000(default) for_ea…
新年ということで英語学習への気持ちを新たに「スーパーステップ 中学英文法」を読みました。 Qiitaでバスった英語学習記事でも紹介されている本で、買ったは良いものの途中まで読んで積読化してました。今回はなんとか再開して読み通すことができたので感想…
明けましておめでとうございます。2019年始まりましたね。気持ちを新たに今年の目標を掲げたいと思います。 目標の立て方について 基本的にモノグサな人間なので、背伸びした目標を立てても達成できる気がしません。皮算用な目標を立てても意味がないし、む…
今年も残すこと僅かというところで、1年の振り返りをします。2019年の目標は別で書きます。 転職したこと 前職について 現職について プライベートについて エンジニアとして インプットについて アウトプットについて まとめ
SREって本当に素晴らしいですね！ これはSRE Advent Calendar 2018の19日目の記事です。 昨日はkazumax55さんのWebセキュリティ対策例でした。失敗談も踏まえた脆弱性診断の事例が紹介されていて学びがありましたが、個人的ハイライトとしては文面が全体的に…
AWSのGlueとAthenaを勉強しており、現時点のメモを残しておきます。 （完全に自分用になっています） やりたいこと RDS上の特定のテーブルのスナップショットを、Athenaで検索できる状態でS3上にGlueで出力させる。 出力タイミングは日次&アドホック。 glue …
ふと、AWS上のpostgresってどうやってデータ同期するんだろうと疑問に思ったので検証してみたメモです。 オンプレでネイティブなpostgresならデータ同期にはいくつかのパターンがあってざっくり以下だと認識しています。 ver9以上で同期元と同期先が同じバー…
お正月の長期連休が遥か昔のように感じていますが、ぼちぼちやっていきましょう。さて O'Reillyのマイクロサービスアーキテクチャ本感想の第6回です。 6章「デプロイ」を読んで 6章は以前から興味はあったけれど実践はできていない"CI/CD"について語られてい…
そろそろ正月気分も抜けてきました。 O'Reillyのマイクロサービスアーキテクチャ本感想の第5回です。 5章「モノリスの分解」を読んで 4章の統合に対し、5章では既存のモノリシックなアプリケーションをどうやって分割していくかの話になります。 コンテキス…
まだまだ正月気分が続きますが、O'Reillyのマイクロサービスアーキテクチャ本感想の第4回です。 4章「統合」を読んでの続き バージョニングについて この節ではマイクロサービスにおけるバージョニングについて説明があります。マイクロサービスの内部として…
始まる前は長いと思っていたお正月休みも終わってしまいますね。 O'Reillyのマイクロサービスアーキテクチャ本感想の第3回です。 4章「統合」を読んで 4章はまず、そのボリュームに圧倒されます。実ページ数で47Pもあり、これは1章の13P、2章の17P、3章の10P…
あけましておめでとうございます。雑煮とお酒と3歳児と遊ぶ年始を過ごしながらO'Reillyのマイクロサービスアーキテクチャ本感想の第2回です。 3章「サービスのモデル化方法」を読んで 3章では実際にマイクロサービスをどのように実践していくかの手始めとし…
年末年始ですね。この長期休暇を利用して停滞していた意識改革を行うために、O'Reillyのマイクロサービスアーキテクチャを読み始めたので読んだ部分から感想をメモしていきます。（一気読みするには内容が濃いのです...） １章「マイクロサービス」を読んで …
twitterでオススメされたのがきっかけでこの本を読みました。@xinolinxさん、ありがとうございますm( _ _ )m - @morihaya55 said "@morihaya55 worry, my Job Changing affect the current team. and this anxiety is from loving the team members and work…
きっかけ terraformは少々触ったことあるけど、AWSならCloudFormationがあり、どっちが良いんだろう？という素朴な疑問が出てきて、そもそもCloudFormation経験0じゃどうしようもないから触ってみようと思いました。 想定読者 自分です。人の記事を読んで備…
