本日も乙

ただの自己満足な備忘録。

GCPで実践的なデータ分析基盤をはじめるのに最適な「Google Cloudではじめる実践データエンジニアリング入門」を読んだ

献本いただいて4周ぐらい読みました。400ページ強あるのでかなり読み応えがあり、ブログにするのが遅くなりました。。。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]posted with AmaQuick at 2021.03.30下田 倫大(著…

JAWS DAYS 2021に登壇&参加してきました

3月20日に開催された JAWS DAYS 2021 に参加と登壇したので参加レポートです。 視聴したセッション 登壇 感想 視聴したセッション 午前中は子供の面倒を見ていて、午後は登壇前の練習をしていたので、最後の方のセッションしか見れませんでした。気になった…

インフラエンジニアBooksに登壇しました

3月16日にインフラエンジニア Books というイベントで、以前に執筆した「Amazon Web Services コスト最適化入門」についてお話させていただきました。 infra-eng-books.connpass.com 登壇資料は Speakerdeck にあげています。 インフラエンジニアBooksとは …

FastAPIで例外時にエラーとスタックトレースをロギングする

前回の記事では FastAPI でリクエストボディとレスポンスボディをロギングする方法について紹介しました。本記事では、前回のプログラムを修正して例外時にエラー内容とスタックトレースもロギングする方法を紹介します。スタックトレースはデフォルトで標準…

FastAPIでリクエストとレスポンスの中身をログ出力する

2021/02/07 追記 例外時にエラー内容とスタックトレースを含めてロギングする方法を以下の記事で紹介しています。 FastAPIで例外時にエラーとスタックトレースをロギングする FastAPI に触れる機会があって、ロギングについてあれこれ考えています。Learn Mi…

負荷試験ツールLocustで無限にダミーデータをPOSTする

新規案件で AWS Fargate を使ったアプリケーションを構築しています。負荷試験を行った際に、負荷試験ツール Locust でダミーデータを使った POST のテストをした話です。負荷試験なのでひたすらに負荷をかけていくのですが、1回 POST するときに1件ダミーデ…

GitHub Actions から AWS CodePipeline のパイプラインを実行する

AWS CodePipeline(以下、CodePipeline)は GitHub と連携した場合、通常は Push 時にパイプラインが実行されますが、Push 以外のイベント時にパイプラインを実行したい場合もあります。例えば、特定のタグを付けたり、Pull Request 作成時やコメントをつけ…

Amazon Elastic Inference(EI)について調べてみた

ずっと前に調べていたメモをブログ用に書き起こしてみました。 Amazon Elastic Inference(EI)とは 料金 制限 GPU インスタンスとの違い Amazon EI を使うためにやること セキュリティグループのルール追加 AWS PrivateLink エンドポイントを作成 IAM ロー…

2020年の振り返り

皆さま明けましておめでとうございます。本年もよろしくお願いいたします。 年が明けて3日経ってしまい明日から仕事初めではありますが、昨年の振り返りをしておこうと思います。 昨年の振り返り↓ 2019年振り返り & 2020年の目標 - 本日も乙 同人誌と商業誌…

AWS Copilot をひと通り使ってみた

Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネッ…

GCP HTTPS ロードバランサ用のセルフマネージド SSL 証明書の更新方法

本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利…

最高の Windows 開発環境を整えるためにやったこと

(注)ギークな読者ならもっと手の込んだ開発環境だと思いますが、本記事は「私にとっての」最高の Windows 開発環境なので悪しからず。 本記事は Sansan Advent Calendar 2020 の10日目です。業務で使っていた Mac が残電源容量を50%を切ると突然落ちるとい…

VPN 接続時に WSL2 の SSH がハングアップした場合の解決方法

2020/12/10 11:10 UTC+9 追記 本記事の問題は WSL2 固有であり WSL1 は問題ないとのことで、「WSL」だと混在してしまっているとの指摘をいただいたため、「WSL2」と明記するように記事タイトルおよび内容を修正しました。 本記事は WSL Advent Calendar 2020…

ECS GPU-optimized AMI で Docker ランタイムを変更する

本記事では、ECS GPU-optimized AMI をカスタマイズして Docker のランタイムを変更する方法について紹介しますが、そもそもなぜランタイムを変更しなければならないのかについて説明します。 ECS で GPU を扱うことによる問題点 Docker のランタイムを変更…

AWS SDK for Goのテストの書き方(ec2metadata)

net/http/httptest とは サンプルコード 参考URL 以前にAWS SDK for Goを使ったテストの書き方を紹介しました。 blog.jicoman.info EC2 や S3 などのサービスは Interface が提供されているのでモックを使ったテストを書くことができます。しかし、EC2メタデ…

go buildしたときに「unknown revision v0.0.0」でコケたときの回避方法

Golang で NVML(NVIDIA Management Library)を使いたかったので、NVIDIA/gpu-monitoring-tools のライブラリを使わせてもらおうと思ったら、躓いてしまったのでメモ。 環境 $ go version go version go1.15 darwin/amd64 サンプルコード NVIDIA/gpu-monito…

syslogに出力したBashコマンドをCloud Loggingに転送する

昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP(GCE インスタンス)だったので Cloud Logging(Stac…

Ubuntu 20.04 LTSでsyslogに出力するBashのdebパッケージを作成する

以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP(GCE インスタンス) Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…

「Amazon Web Servicesコスト最適化入門」の商業誌版が刊行されました

技術書典8および9で頒布した「Amazon Web Servicesコスト最適化入門」(通称 AWS コスト本)がこの度インプレス R&D 様から商業誌として出版されることになりました。前著の「Spinnaker入門」に続いて2作目となります。 nextpublishing.jp AWS コスト本とは …

技術書典9で「Amazon Web Servicesコスト最適化入門 第2版」を頒布します(割引特典あり)

久しぶりのブログ更新です。最近は英語の勉強と「Amazon Web Services コスト最適化入門」(AWS コスト本)の加筆をずっとやっていました。 さて、9月12日から開催される技術書典9で「Amazon Web Services コスト最適化入門 第2版」を頒布します。 techbookf…

S3のストレージクラスを一括で変更するとクラウド破産するかもという話

S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier …

PrometheusでWindows ServerのIISメトリクスを取得する

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

「Number 922号 三浦知良、50歳 まだやるよ。」を読んで、ひとつのことを続ける大切さとプロ意識について教わった

休日なのでいつもの分野から離れてみようと思います。 美容院に行くと、スポーツ雑誌を毎回見ます。中でもインタビュー記事はスポーツ選手がそこに至るまでの思考プロセスが垣間見ることができるので好きです。といっても毎回帰ったら忘れてしまっているので…

Ubuntu 20.04 LTSで「.local」への名前解決ができない場合の対応方法

Linux サーバで Active Directy ドメインに参加しようとしたらできなかったのでその時の対応メモです。なお、この事象は Ubuntu 16.04 LTS 以上であれば起こり得るのですが、私の場合 Ubuntu 20.04 LTS で発覚しました。 事象 realm join で Active Director…

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

Amazon ESの基本的な使い方を学べるワークショップ「Amazon Elasticsearch Service Intro Workshop」をやってみた

Amazon Elasticsearch Service(以下、Amazon ES)をキャッチアップするために、先日「これから始める Amazon Elasticsearch Service セミナー」に参加してきました。そのなかでワークショップの宣伝がされたのですが、Amazon ES の基本的な使い方を手で動か…

ECS GPU-optimized AMIでECSを構築する

ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近(といっても昨年2月ですが)ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.a…

GCEのMachine images(マシンイメージ)を使ってみた

今年の3月に GCE の Machine images(以下、(マシンイメージ)がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…

GCEインスタンスとGKEノードのスコープをcloud-platformにすべき

休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント(Compute Engine default service account)を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…