本日も乙

ただの自己満足な備忘録。

ECS GPU-optimized AMI で Docker ランタイムを変更する

本記事では、ECS GPU-optimized AMI をカスタマイズして Docker のランタイムを変更する方法について紹介しますが、そもそもなぜランタイムを変更しなければならないのかについて説明します。 ECS で GPU を扱うことによる問題点 Docker のランタイムを変更…

AWS SDK for Goのテストの書き方(ec2metadata)

net/http/httptest とは サンプルコード 参考URL 以前にAWS SDK for Goを使ったテストの書き方を紹介しました。 blog.jicoman.info EC2 や S3 などのサービスは Interface が提供されているのでモックを使ったテストを書くことができます。しかし、EC2メタデ…

go buildしたときに「unknown revision v0.0.0」でコケたときの回避方法

Golang で NVML(NVIDIA Management Library)を使いたかったので、NVIDIA/gpu-monitoring-tools のライブラリを使わせてもらおうと思ったら、躓いてしまったのでメモ。 環境 $ go version go version go1.15 darwin/amd64 サンプルコード NVIDIA/gpu-monito…

syslogに出力したBashコマンドをCloud Loggingに転送する

昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP(GCE インスタンス)だったので Cloud Logging(Stac…

Ubuntu 20.04 LTSでsyslogに出力するBashのdebパッケージを作成する

以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP(GCE インスタンス) Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…

「Amazon Web Servicesコスト最適化入門」の商業誌版が刊行されました

技術書典8および9で頒布した「Amazon Web Servicesコスト最適化入門」(通称 AWS コスト本)がこの度インプレス R&D 様から商業誌として出版されることになりました。前著の「Spinnaker入門」に続いて2作目となります。 nextpublishing.jp AWS コスト本とは …

技術書典9で「Amazon Web Servicesコスト最適化入門 第2版」を頒布します(割引特典あり)

久しぶりのブログ更新です。最近は英語の勉強と「Amazon Web Services コスト最適化入門」(AWS コスト本)の加筆をずっとやっていました。 さて、9月12日から開催される技術書典9で「Amazon Web Services コスト最適化入門 第2版」を頒布します。 techbookf…

S3のストレージクラスを一括で変更するとクラウド破産するかもという話

S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier …

PrometheusでWindows ServerのIISメトリクスを取得する

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

「Number 922号 三浦知良、50歳 まだやるよ。」を読んで、ひとつのことを続ける大切さとプロ意識について教わった

休日なのでいつもの分野から離れてみようと思います。 美容院に行くと、スポーツ雑誌を毎回見ます。中でもインタビュー記事はスポーツ選手がそこに至るまでの思考プロセスが垣間見ることができるので好きです。といっても毎回帰ったら忘れてしまっているので…

Ubuntu 20.04 LTSで「.local」への名前解決ができない場合の対応方法

Linux サーバで Active Directy ドメインに参加しようとしたらできなかったのでその時の対応メモです。なお、この事象は Ubuntu 16.04 LTS 以上であれば起こり得るのですが、私の場合 Ubuntu 20.04 LTS で発覚しました。 事象 realm join で Active Director…

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

Amazon ESの基本的な使い方を学べるワークショップ「Amazon Elasticsearch Service Intro Workshop」をやってみた

Amazon Elasticsearch Service(以下、Amazon ES)をキャッチアップするために、先日「これから始める Amazon Elasticsearch Service セミナー」に参加してきました。そのなかでワークショップの宣伝がされたのですが、Amazon ES の基本的な使い方を手で動か…

ECS GPU-optimized AMIでECSを構築する

ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近(といっても昨年2月ですが)ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.a…

GCEのMachine images(マシンイメージ)を使ってみた

今年の3月に GCE の Machine images(以下、(マシンイメージ)がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…

GCEインスタンスとGKEノードのスコープをcloud-platformにすべき

休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント(Compute Engine default service account)を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

Auroraクラスタを他のAWSアカウントに複製したい場合、リストアとクローンのどちらがいいのか

知っている人にとっては当たり前の話かと思いますが、知らない人にとっては知っておいた方が良い話です。 Amazon Aurora クラスタを別の AWS アカウントに複製したい場合に、リストアとクローンの両方が使えますがどちらが良いでしょうか。 結論からいうとク…

【書評】AWSでクラウドネイティブな開発と運用をキャッチアップできる「クラウドネイティブファーストストーリー」

技術書典 応援祭で購入して積んでいた「クラウドネイティブファーストストーリー」を読んでとても良かったので本記事で紹介します。 booth.pm なぜ読んだのか 章立て 第1章 第2章 第3章 第4章 よかったところ プロダクションレディなアーキテクチャ 「何…

「これから始める Amazon Elasticsearch Service セミナー」に参加してきました

AWS公式のオンラインセミナー「これから始める Amazon Elasticsearch Service セミナー」に参加してきたのでそのレポート記事です。 参加動機 アジェンダ Introduction to Amazon Elasticsearch Service Elasticsearch とは Amazon ES の概要 Amazon Elastic…

【書評】AWSコスト最適化の知識・運用を学べる「Mastering AWS Cost Optimization」

技術書典 応援祭で Amazon Web Servicesコスト最適化入門という技術同人誌を出しました。出した後に AWS コストについて扱った本がないかを調べたところ、「Mastering AWS Cost Optimization」という本がとても良かったので紹介します。 Mastering AWS Cost …

機械学習初心者の私がML Study Jams Vol.4に参加してきました

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

Amazon Aurora MySQL で db.r5.8xlarge に変更できなかった場合の対応方法

先日、本番環境で稼働していた Aurora MySQL の DB インスタンスタイプを R4 から db.r5.8xlarge に変えようとしていました。しかし、マネジメントコンソールでインスタンスタイプを変えようとすると下の図のように r5.8xlarge が一覧に出てきません。 ドキ…

Amazon Linux 2でsyslogに出力するBashのRPMを作成する

セキュリティ要件でサーバ内で実行した全ユーザのコマンド履歴を保存することが求められることがあります。いくつかの方法がありますが、Bash ではコマンド履歴を syslog に出力する機能が提供されており、今回はその方法を採用することにしました。 syslog …

EC2 GPUインスタンスの比較表をつくった

私が所属している部署では機械学習などの用途で GPU インスタンスを活用しています。GPU インスタンスって普通の EC2 インスタンスよりめっちゃ高いんですよね。今までケチって G2 や P2 インスタンスを使っていましたが、最近 G4 インスタンスがあるのを知…

DynamoDBリザーブドキャパシティを正しく理解する

Amazon DynamoDB(以下、DynamoDB)のコストを下げる手段としてリザーブドキャパシティが有効です。リザーブドキャパシティはEC2 リザーブドインスタンスと同じように前払いによるコミットメントをすることによって割引で利用できる料金オプションです。 し…

『Amazon Web Servicesコスト最適化入門』の感想フォームをつくりました

技術書典 応援祭で『Amazon Web Servicesコスト最適化入門』を頒布させていただきました。 blog.jicoman.info おかげさまでオンラインなのにも関わらず多くの方にご購入いただきましてとても嬉しく思っています。 本書をまだ買ってない人は BOOTH で販売して…

EC2インスタンスタイプについてまとめてみた(2020年6月版)

EC2を普段から使っている人にとっては今更かなと思いましたが、ここ1〜2年で多くのインスタンスタイプが発表されていて、その辺りのアップデートが追いついていなかったので改めて調べてみました。 目次 目次 インスタンスファミリー EC2 インスタンスタイプ…

【AWS】Savings Plans がどのように適用されるのかを理解する

2019年11月に Savings Plans(以下、SP)という新しい料金体系、割引プランが発表されました。Savings Plans はリザーブドインスタンス(以下、RI)と同じ割引率で、RIよりも柔軟性に富んでいます。EC2 の他に、Fargate、AWS Lambda(以下、Lambda)にも適用…