本日も乙

ただの自己満足な備忘録。

技書博5で「AWSコスト最適化入門 マルチアカウント編」を頒布します

6/19(土)に開催される第五回 技術書同人誌博覧会(技書博)で「Amazon Web Servicesコスト最適化入門 マルチアカウント編」を新刊として販売します。 gishohaku.dev どんな本なのか 前著「Amazon Web Servicesコスト最適化入門 第2版」の続編という位置づ…

VPCフローログを利用したNAT Gatewayのトラフィックコストの分析とVPCエンドポイントとの使い分けに関する考察

VPCフローログの設定 Athena テーブルの作成 クエリ例 ケース1 ケース2 ケース3 コスト最適化ポイント S3、Dynamo DB は VPC エンドポイントを設定する NAT Gateway にするか PrivateLink(VPC エンドポイント)にするか 参考URL AWS NAT Gateway(以下、NAT…

AWS Cost and Usage Reportを分割してメンバーアカウントに共有する(2)

前回の記事の続きです。 blog.jicoman.info AWSリソース CURの作成 メンバーアカウント共有用S3バケットの作成 オブジェクトACLを書き換えるLambda関数用の作成 IAMポリシーの作成 IAM ロールの作成 Lambda 関数の作成 S3 バケット通知の設定 過去の CUR デ…

AWS Cost and Usage Reportを分割してメンバーアカウントに共有する(1)

実現したいこと メンバーアカウントからCURを利用するのは簡単? AWSから提供されているソリューション 構成 参考URL AWS Cost and Usage Report(AWSのコストと使用状況レポート、以下 CUR)は、AWS のコストやリソースの使用状況を S3 や Redshift にアッ…

35歳になりました

5月15日で35歳になりました。自分としてはまだまだ若いつもりでいたのですが、気がつけば30代半ばに差し掛かってしまいました。 今日はせっかくなので35歳になってからの心境について書こうと思います。 ITエンジニア定年? IT業界にいると必ず耳にする「IT…

GCPで実践的なデータ分析基盤をはじめるのに最適な「Google Cloudではじめる実践データエンジニアリング入門」を読んだ

献本いただいて4周ぐらい読みました。400ページ強あるのでかなり読み応えがあり、ブログにするのが遅くなりました。。。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]posted with AmaQuick at 2021.03.30下田 倫大(著…

JAWS DAYS 2021に登壇&参加してきました

3月20日に開催された JAWS DAYS 2021 に参加と登壇したので参加レポートです。 視聴したセッション 登壇 感想 視聴したセッション 午前中は子供の面倒を見ていて、午後は登壇前の練習をしていたので、最後の方のセッションしか見れませんでした。気になった…

インフラエンジニアBooksに登壇しました

3月16日にインフラエンジニア Books というイベントで、以前に執筆した「Amazon Web Services コスト最適化入門」についてお話させていただきました。 infra-eng-books.connpass.com 登壇資料は Speakerdeck にあげています。 インフラエンジニアBooksとは …

FastAPIで例外時にエラーとスタックトレースをロギングする

前回の記事では FastAPI でリクエストボディとレスポンスボディをロギングする方法について紹介しました。本記事では、前回のプログラムを修正して例外時にエラー内容とスタックトレースもロギングする方法を紹介します。スタックトレースはデフォルトで標準…

FastAPIでリクエストとレスポンスの中身をログ出力する

2021/02/07 追記 例外時にエラー内容とスタックトレースを含めてロギングする方法を以下の記事で紹介しています。 FastAPIで例外時にエラーとスタックトレースをロギングする FastAPI に触れる機会があって、ロギングについてあれこれ考えています。Learn Mi…

負荷試験ツールLocustで無限にダミーデータをPOSTする

新規案件で AWS Fargate を使ったアプリケーションを構築しています。負荷試験を行った際に、負荷試験ツール Locust でダミーデータを使った POST のテストをした話です。負荷試験なのでひたすらに負荷をかけていくのですが、1回 POST するときに1件ダミーデ…

GitHub Actions から AWS CodePipeline のパイプラインを実行する

AWS CodePipeline(以下、CodePipeline)は GitHub と連携した場合、通常は Push 時にパイプラインが実行されますが、Push 以外のイベント時にパイプラインを実行したい場合もあります。例えば、特定のタグを付けたり、Pull Request 作成時やコメントをつけ…

Amazon Elastic Inference(EI)について調べてみた

ずっと前に調べていたメモをブログ用に書き起こしてみました。 Amazon Elastic Inference(EI)とは 料金 制限 GPU インスタンスとの違い Amazon EI を使うためにやること セキュリティグループのルール追加 AWS PrivateLink エンドポイントを作成 IAM ロー…

2020年の振り返り

皆さま明けましておめでとうございます。本年もよろしくお願いいたします。 年が明けて3日経ってしまい明日から仕事初めではありますが、昨年の振り返りをしておこうと思います。 昨年の振り返り↓ 2019年振り返り & 2020年の目標 - 本日も乙 同人誌と商業誌…

AWS Copilot をひと通り使ってみた

Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネッ…

GCP HTTPS ロードバランサ用のセルフマネージド SSL 証明書の更新方法

本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利…

最高の Windows 開発環境を整えるためにやったこと

(注)ギークな読者ならもっと手の込んだ開発環境だと思いますが、本記事は「私にとっての」最高の Windows 開発環境なので悪しからず。 本記事は Sansan Advent Calendar 2020 の10日目です。業務で使っていた Mac が残電源容量を50%を切ると突然落ちるとい…

VPN 接続時に WSL2 の SSH がハングアップした場合の解決方法

2020/12/10 11:10 UTC+9 追記 本記事の問題は WSL2 固有であり WSL1 は問題ないとのことで、「WSL」だと混在してしまっているとの指摘をいただいたため、「WSL2」と明記するように記事タイトルおよび内容を修正しました。 本記事は WSL Advent Calendar 2020…

ECS GPU-optimized AMI で Docker ランタイムを変更する

本記事では、ECS GPU-optimized AMI をカスタマイズして Docker のランタイムを変更する方法について紹介しますが、そもそもなぜランタイムを変更しなければならないのかについて説明します。 ECS で GPU を扱うことによる問題点 Docker のランタイムを変更…

AWS SDK for Goのテストの書き方(ec2metadata)

net/http/httptest とは サンプルコード 参考URL 以前にAWS SDK for Goを使ったテストの書き方を紹介しました。 blog.jicoman.info EC2 や S3 などのサービスは Interface が提供されているのでモックを使ったテストを書くことができます。しかし、EC2メタデ…

go buildしたときに「unknown revision v0.0.0」でコケたときの回避方法

Golang で NVML(NVIDIA Management Library)を使いたかったので、NVIDIA/gpu-monitoring-tools のライブラリを使わせてもらおうと思ったら、躓いてしまったのでメモ。 環境 $ go version go version go1.15 darwin/amd64 サンプルコード NVIDIA/gpu-monito…

syslogに出力したBashコマンドをCloud Loggingに転送する

昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP(GCE インスタンス)だったので Cloud Logging(Stac…

Ubuntu 20.04 LTSでsyslogに出力するBashのdebパッケージを作成する

以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP(GCE インスタンス) Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…

「Amazon Web Servicesコスト最適化入門」の商業誌版が刊行されました

技術書典8および9で頒布した「Amazon Web Servicesコスト最適化入門」(通称 AWS コスト本)がこの度インプレス R&D 様から商業誌として出版されることになりました。前著の「Spinnaker入門」に続いて2作目となります。 nextpublishing.jp AWS コスト本とは …

技術書典9で「Amazon Web Servicesコスト最適化入門 第2版」を頒布します(割引特典あり)

久しぶりのブログ更新です。最近は英語の勉強と「Amazon Web Services コスト最適化入門」(AWS コスト本)の加筆をずっとやっていました。 さて、9月12日から開催される技術書典9で「Amazon Web Services コスト最適化入門 第2版」を頒布します。 techbookf…

S3のストレージクラスを一括で変更するとクラウド破産するかもという話

S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier …

PrometheusでWindows ServerのIISメトリクスを取得する

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

「Number 922号 三浦知良、50歳 まだやるよ。」を読んで、ひとつのことを続ける大切さとプロ意識について教わった

休日なのでいつもの分野から離れてみようと思います。 美容院に行くと、スポーツ雑誌を毎回見ます。中でもインタビュー記事はスポーツ選手がそこに至るまでの思考プロセスが垣間見ることができるので好きです。といっても毎回帰ったら忘れてしまっているので…

Ubuntu 20.04 LTSで「.local」への名前解決ができない場合の対応方法

Linux サーバで Active Directy ドメインに参加しようとしたらできなかったのでその時の対応メモです。なお、この事象は Ubuntu 16.04 LTS 以上であれば起こり得るのですが、私の場合 Ubuntu 20.04 LTS で発覚しました。 事象 realm join で Active Director…

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…