本日も乙

ただの自己満足な備忘録。

S3のストレージクラスを一括で変更するとクラウド破産するかもという話

S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier …

PrometheusでWindows ServerのIISメトリクスを取得する

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

「Number 922号 三浦知良、50歳 まだやるよ。」を読んで、ひとつのことを続ける大切さとプロ意識について教わった

休日なのでいつもの分野から離れてみようと思います。 美容院に行くと、スポーツ雑誌を毎回見ます。中でもインタビュー記事はスポーツ選手がそこに至るまでの思考プロセスが垣間見ることができるので好きです。といっても毎回帰ったら忘れてしまっているので…

Ubuntu 20.04 LTSで「.local」への名前解決ができない場合の対応方法

Linux サーバで Active Directy ドメインに参加しようとしたらできなかったのでその時の対応メモです。なお、この事象は Ubuntu 16.04 LTS 以上であれば起こり得るのですが、私の場合 Ubuntu 20.04 LTS で発覚しました。 事象 realm join で Active Director…

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

Amazon ESの基本的な使い方を学べるワークショップ「Amazon Elasticsearch Service Intro Workshop」をやってみた

Amazon Elasticsearch Service(以下、Amazon ES)をキャッチアップするために、先日「これから始める Amazon Elasticsearch Service セミナー」に参加してきました。そのなかでワークショップの宣伝がされたのですが、Amazon ES の基本的な使い方を手で動か…

ECS GPU-optimized AMIでECSを構築する

ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近(といっても昨年2月ですが)ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.a…

GCEのMachine images(マシンイメージ)を使ってみた

今年の3月に GCE の Machine images(以下、(マシンイメージ)がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…

GCEインスタンスとGKEノードのスコープをcloud-platformにすべき

休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント(Compute Engine default service account)を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

Auroraクラスタを他のAWSアカウントに複製したい場合、リストアとクローンのどちらがいいのか

知っている人にとっては当たり前の話かと思いますが、知らない人にとっては知っておいた方が良い話です。 Amazon Aurora クラスタを別の AWS アカウントに複製したい場合に、リストアとクローンの両方が使えますがどちらが良いでしょうか。 結論からいうとク…

【書評】AWSでクラウドネイティブな開発と運用をキャッチアップできる「クラウドネイティブファーストストーリー」

技術書典 応援祭で購入して積んでいた「クラウドネイティブファーストストーリー」を読んでとても良かったので本記事で紹介します。 booth.pm なぜ読んだのか 章立て 第1章 第2章 第3章 第4章 よかったところ プロダクションレディなアーキテクチャ 「何…

「これから始める Amazon Elasticsearch Service セミナー」に参加してきました

AWS公式のオンラインセミナー「これから始める Amazon Elasticsearch Service セミナー」に参加してきたのでそのレポート記事です。 参加動機 アジェンダ Introduction to Amazon Elasticsearch Service Elasticsearch とは Amazon ES の概要 Amazon Elastic…

【書評】AWSコスト最適化の知識・運用を学べる「Mastering AWS Cost Optimization」

技術書典 応援祭で Amazon Web Servicesコスト最適化入門という技術同人誌を出しました。出した後に AWS コストについて扱った本がないかを調べたところ、「Mastering AWS Cost Optimization」という本がとても良かったので紹介します。 Mastering AWS Cost …

機械学習初心者の私がML Study Jams Vol.4に参加してきました

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

Amazon Aurora MySQL で db.r5.8xlarge に変更できなかった場合の対応方法

先日、本番環境で稼働していた Aurora MySQL の DB インスタンスタイプを R4 から db.r5.8xlarge に変えようとしていました。しかし、マネジメントコンソールでインスタンスタイプを変えようとすると下の図のように r5.8xlarge が一覧に出てきません。 ドキ…

Amazon Linux 2でsyslogに出力するBashのRPMを作成する

セキュリティ要件でサーバ内で実行した全ユーザのコマンド履歴を保存することが求められることがあります。いくつかの方法がありますが、Bash ではコマンド履歴を syslog に出力する機能が提供されており、今回はその方法を採用することにしました。 syslog …

EC2 GPUインスタンスの比較表をつくった

私が所属している部署では機械学習などの用途で GPU インスタンスを活用しています。GPU インスタンスって普通の EC2 インスタンスよりめっちゃ高いんですよね。今までケチって G2 や P2 インスタンスを使っていましたが、最近 G4 インスタンスがあるのを知…

DynamoDBリザーブドキャパシティを正しく理解する

Amazon DynamoDB(以下、DynamoDB)のコストを下げる手段としてリザーブドキャパシティが有効です。リザーブドキャパシティはEC2 リザーブドインスタンスと同じように前払いによるコミットメントをすることによって割引で利用できる料金オプションです。 し…

『Amazon Web Servicesコスト最適化入門』の感想フォームをつくりました

技術書典 応援祭で『Amazon Web Servicesコスト最適化入門』を頒布させていただきました。 blog.jicoman.info おかげさまでオンラインなのにも関わらず多くの方にご購入いただきましてとても嬉しく思っています。 本書をまだ買ってない人は BOOTH で販売して…

EC2インスタンスタイプについてまとめてみた(2020年6月版)

EC2を普段から使っている人にとっては今更かなと思いましたが、ここ1〜2年で多くのインスタンスタイプが発表されていて、その辺りのアップデートが追いついていなかったので改めて調べてみました。 目次 目次 インスタンスファミリー EC2 インスタンスタイプ…

【AWS】Savings Plans がどのように適用されるのかを理解する

2019年11月に Savings Plans(以下、SP)という新しい料金体系、割引プランが発表されました。Savings Plans はリザーブドインスタンス(以下、RI)と同じ割引率で、RIよりも柔軟性に富んでいます。EC2 の他に、Fargate、AWS Lambda(以下、Lambda)にも適用…

「[Action Required] Amazon S3 and Amazon CloudFront migrating default certificates to Amazon Trust Services in March 2021」というメールについて

3月19日ぐらいにブログタイトルのような件名のメールが届いた。今後トラブルがあったときに備忘として残しておく。 概要 2021年3月1日から CloudFront・S3 の SSL 証明書のルート認証局が DigiCert から Amazon 自社認証局(Amazon Trust Services)に変更さ…

商業誌版「Spinnaker入門」刊行によせて

技術書典7 で「Spinnaker入門」という同人誌を頒布させていただきました。物理本約100部*1に加え BOOTH で50部以上の購入がありました。ありがとうございます。 この度ご縁がありまして、商業誌として販売されました!Amazon など多くのサイトで購入可能とな…

技術書典 応援祭で「Amazon Web Services コスト最適化入門」を頒布します

3/7(土)から開催される技術書典 応援祭で「Amazon Web Services コスト最適化入門」という技術同人誌を頒布します。 今回は個人参加ではなく、同僚を募っての参加です。サークル紹介および頒布本の紹介は会社ブログに書きましたのでよければ読んでください…

AWSネットワーク料金についてまとめてみた(2020年1月)

先日、このようなツイートをしたところ想像以上の反響がありました。せいぜい10いいねつけばいいかなって思っていたのですが、1,000いいね以上もついてかなり吃驚しています。 AWSのネットワーク・データ転送料金がひと目で分かる図を作った。Direct Connect…

Web Risk API で危険な URL から守る

個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…

2019年振り返り & 2020年の目標

あけましておめでとうございます。 2019年が終わったので昨年冒頭に設定した目標を振り返って2020年の目標を定めたいと思います。 2019年振り返り 昨年の記事 2019年の目標 - 本日も乙 アウトプットの量と質を増やす 技術カンファレンスにCfP(Call for Paper…

GCPUG Tokyo December 2019 に参加してきました

先日 GCPUG Tokyo December 2019 に参加してきました。 会場は株式会社ディー・エヌ・エーでした。実はヒカリエに入ったのが初めてで*1買い物客と一緒にエスカレーター乗っていると朝の通勤時に混雑で大変そうだなと思ってしまいます。 オフィスはめっちゃ広…