もりはやメモφ(・ω・ )

インフラなエンジニアからSREへ

Mac(Mojave)で販売終了済みのbrother DCP-750CNのスキャナ設定をした

我が家にはDCP-750CNというBrotherのインクジェットプリンタ&スキャナがありまして、まだ現役稼働しています。 2018年3月に自宅作業マシンもMacBookProに変更したのですが、スキャナ機能は滅多に使わないため特に設定せずに放置してました。

本日スキャンする要件があり、セットアップして問題なかったのでメモしておきます。

https://support.brother.co.jp/j/b/img/product/dcp750cn.jpg

  • 前提
  • 手順
    • ドライバのダウンロード
    • ドライバのインストール
    • 使用する
  • 終わり
続きを読む

digdagで繰り返し処理をする時に使うOperators(loop , for_each , for_range)

最近はちょくちょくdigdagのdigファイルを書くことがあり、毎回ドキュメントを見ながら思い出している"繰り返し処理"について自分でまとめておきたいと思います。

  • はじめに
  • loop operator
  • for_each operator
    • for_eachの処理数の最大値は1000(default)
    • for_eachのパラメーター箇条書き
  • for_range operator
  • 最後に一言

はじめに

公式ドキュメントは以下です。繰り返し処理を行うloopなどはWorkfrlow control Operatorsというカテゴリの中に記載されています。

digdag Docs » Operators » Workflow control operators

現在、繰り返し処理を行えるOperatorは以下の3つが用意されています。

  • loop - 指定回数の処理を繰り返す
  • for_each - 与えた1つ以上のkey,valueの組み合わせの個数の処理を繰り返す
  • for_range - 範囲(開始値、終わり値)と増加値の3項目を指定し、範囲内で開始値に増加値を加算し、確保できる範囲の個数の処理を繰り返す
続きを読む

新年なので中学英文法をおさらいしました

新年ということで英語学習への気持ちを新たに「スーパーステップ 中学英文法」を読みました。 Qiitaでバスった英語学習記事でも紹介されている本で、買ったは良いものの途中まで読んで積読化してました。今回はなんとか再開して読み通すことができたので感想メモです。 ちなみに私の英語レベルは英語ネイティブのPodcastを聞いて20%が分かるかどうかという感じです(英語に恐怖感や嫌悪感は無いのですが単純に勉強不足)

続きを読む

2019年の目標

明けましておめでとうございます。2019年始まりましたね。気持ちを新たに今年の目標を掲げたいと思います。

目標の立て方について

基本的にモノグサな人間なので、背伸びした目標を立てても達成できる気がしません。皮算用な目標を立てても意味がないし、むしろ達成できないことでモチベーションが下がるのはイマイチなので、甘々な感じで立てたいと思います。

目標の種類について

心・技・体でそれぞれ立てたいと思います。ちょっと厨二感な気もしますが、たくさん立てすぎても失念してしまうので語呂も良いこれを採用します。

続きを読む

SRE本の素晴らしさについて語ってみる

SREって本当に素晴らしいですね! これはSRE Advent Calendar 2018の19日目の記事です。

昨日はkazumax55さんのWebセキュリティ対策例でした。失敗談も踏まえた脆弱性診断の事例が紹介されていて学びがありましたが、個人的ハイライトとしては文面が全体的に紳士のように丁寧にも関わらず、唐突に出てくる「あざーーーす!!」の箇所から開発チームに対する絶大なHRTが感じられて良かったです。新規オープンされたと言うLaig(ライグ)と言うサービスもデザインがスタイリッシュで素敵です。

さて本記事では「SRE本の素晴らしさについて語ってみる」と言う題でつらつらと書きます。

  • SRE本とは
  • SRE本との出会い
  • それでも素晴らしいので読んで欲しい理由
    • SRE用語を知ることでSREと言う役割を知ることができる
    • 強いGoogleな人たちのノウハウを学べる
    • SRE本を読んだ実績を解除することで自信を得る
  • SRE本を読んだことで、自分で実践できた事
    • 粒度にこだわらずにCI/CDするようになった
    • 失敗を恐れないマインド(余裕)がより高まった
  • まとめ
続きを読む

GlueとAthenaの備忘メモ

AWSのGlueとAthenaを勉強しており、現時点のメモを残しておきます。 (完全に自分用になっています)

やりたいこと

RDS上の特定のテーブルのスナップショットを、Athenaで検索できる状態でS3上にGlueで出力させる。 出力タイミングは日次&アドホック

glue

## add morihaya
year   = int(time.strftime('%Y',time.localtime()))
month  = int(time.strftime('%m',time.localtime()))
day    = int(time.strftime('%d',time.localtime()))
hour   = int(time.strftime('%H',time.localtime()))

dpath = "s3://aws-glue-morihaya" + "/" + "year=" + str(year) + "/" + "month=" + str(month) +  "/" + "day=" + str(day) + "/" + "hour=" + str(hour)

glueの残メモ

RDS -> parquet形式@S3だとsnappyで圧縮をしてくれるが、avroにすると無圧縮になる。。。

Athena