本日も乙

ただの自己満足な備忘録。

AmazonWebServices

S3のストレージクラスを一括で変更するとクラウド破産するかもという話

S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier …

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

Amazon ESの基本的な使い方を学べるワークショップ「Amazon Elasticsearch Service Intro Workshop」をやってみた

Amazon Elasticsearch Service(以下、Amazon ES)をキャッチアップするために、先日「これから始める Amazon Elasticsearch Service セミナー」に参加してきました。そのなかでワークショップの宣伝がされたのですが、Amazon ES の基本的な使い方を手で動か…

ECS GPU-optimized AMIでECSを構築する

ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近(といっても昨年2月ですが)ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.a…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

Auroraクラスタを他のAWSアカウントに複製したい場合、リストアとクローンのどちらがいいのか

知っている人にとっては当たり前の話かと思いますが、知らない人にとっては知っておいた方が良い話です。 Amazon Aurora クラスタを別の AWS アカウントに複製したい場合に、リストアとクローンの両方が使えますがどちらが良いでしょうか。 結論からいうとク…

【書評】AWSでクラウドネイティブな開発と運用をキャッチアップできる「クラウドネイティブファーストストーリー」

技術書典 応援祭で購入して積んでいた「クラウドネイティブファーストストーリー」を読んでとても良かったので本記事で紹介します。 booth.pm なぜ読んだのか 章立て 第1章 第2章 第3章 第4章 よかったところ プロダクションレディなアーキテクチャ 「何…

「これから始める Amazon Elasticsearch Service セミナー」に参加してきました

AWS公式のオンラインセミナー「これから始める Amazon Elasticsearch Service セミナー」に参加してきたのでそのレポート記事です。 参加動機 アジェンダ Introduction to Amazon Elasticsearch Service Elasticsearch とは Amazon ES の概要 Amazon Elastic…

【書評】AWSコスト最適化の知識・運用を学べる「Mastering AWS Cost Optimization」

技術書典 応援祭で Amazon Web Servicesコスト最適化入門という技術同人誌を出しました。出した後に AWS コストについて扱った本がないかを調べたところ、「Mastering AWS Cost Optimization」という本がとても良かったので紹介します。 Mastering AWS Cost …

Amazon Aurora MySQL で db.r5.8xlarge に変更できなかった場合の対応方法

先日、本番環境で稼働していた Aurora MySQL の DB インスタンスタイプを R4 から db.r5.8xlarge に変えようとしていました。しかし、マネジメントコンソールでインスタンスタイプを変えようとすると下の図のように r5.8xlarge が一覧に出てきません。 ドキ…

Amazon Linux 2でsyslogに出力するBashのRPMを作成する

セキュリティ要件でサーバ内で実行した全ユーザのコマンド履歴を保存することが求められることがあります。いくつかの方法がありますが、Bash ではコマンド履歴を syslog に出力する機能が提供されており、今回はその方法を採用することにしました。 syslog …

EC2 GPUインスタンスの比較表をつくった

私が所属している部署では機械学習などの用途で GPU インスタンスを活用しています。GPU インスタンスって普通の EC2 インスタンスよりめっちゃ高いんですよね。今までケチって G2 や P2 インスタンスを使っていましたが、最近 G4 インスタンスがあるのを知…

DynamoDBリザーブドキャパシティを正しく理解する

Amazon DynamoDB(以下、DynamoDB)のコストを下げる手段としてリザーブドキャパシティが有効です。リザーブドキャパシティはEC2 リザーブドインスタンスと同じように前払いによるコミットメントをすることによって割引で利用できる料金オプションです。 し…

『Amazon Web Servicesコスト最適化入門』の感想フォームをつくりました

技術書典 応援祭で『Amazon Web Servicesコスト最適化入門』を頒布させていただきました。 blog.jicoman.info おかげさまでオンラインなのにも関わらず多くの方にご購入いただきましてとても嬉しく思っています。 本書をまだ買ってない人は BOOTH で販売して…

EC2インスタンスタイプについてまとめてみた(2020年6月版)

EC2を普段から使っている人にとっては今更かなと思いましたが、ここ1〜2年で多くのインスタンスタイプが発表されていて、その辺りのアップデートが追いついていなかったので改めて調べてみました。 目次 目次 インスタンスファミリー EC2 インスタンスタイプ…

【AWS】Savings Plans がどのように適用されるのかを理解する

2019年11月に Savings Plans(以下、SP)という新しい料金体系、割引プランが発表されました。Savings Plans はリザーブドインスタンス(以下、RI)と同じ割引率で、RIよりも柔軟性に富んでいます。EC2 の他に、Fargate、AWS Lambda(以下、Lambda)にも適用…

「[Action Required] Amazon S3 and Amazon CloudFront migrating default certificates to Amazon Trust Services in March 2021」というメールについて

3月19日ぐらいにブログタイトルのような件名のメールが届いた。今後トラブルがあったときに備忘として残しておく。 概要 2021年3月1日から CloudFront・S3 の SSL 証明書のルート認証局が DigiCert から Amazon 自社認証局(Amazon Trust Services)に変更さ…

AWS IAMユーザのパスワードポリシーを変更した後の挙動について

長年の悪習であった、「パスワードの定期的変更」がようやく見直しがはいったのは記憶に新しいと思います。 今後は「定期的な変更」ではなくて、「パスワードの使い回しをしない」「強固なパスワードにする」が主流になってきます。 パスワード定期的変更は…

別AWSアカウントに保存しているCloudTrailログをAthenaから検索する

以前に、CloudTrailのログを別のAWSアカウントのS3バケットに転送する方法を紹介しました。 今回はCloudTrailを設定しているAWSアカウントのAthenaからそのS3バケットに検索する方法を紹介します。 …が、正直言ってあまりオススメできる方法ではないので、可…

ELBのアクセスログを別AWSアカウントにあるS3バケットに保存する

AWSのELBにはアクセスログをS3に保存できる機能が提供されています。 Classic Load Balancer のアクセスログ - Elastic Load Balancing Application Load Balancer のアクセスログ - Elastic Load Balancing このアクセスログをELBを持っているAWSアカウント…

Vuls運用のためのBlue-Green Deploymentパターン

本記事はVuls Advent Calendar 2017 12日目の記事です。 qiita.com 本当はサーバレスVulsの話でも書こうと思ったのですが、いい加減引っ張り過ぎ感があったので今回は別の話にしたいと思います(でも18日の記事はサーバレスVulsについて書くかもしれません)。…

AWS 認定 SysOps アドミニストレーター – アソシエイトに受かってきた

[toc] 一週間前になってしまいましたが、システムオペレーション(SysOps)アドミニストレーター – アソシエイト試験に合格してきました。今年3月にはソリューションアーキテクト-アソシエイトも受かっているため、2つの認定試験に合格していることになりま…

AWSの請求アラート(Billing Alerts)をAWS CLIで設定する

[toc] [2017/07/21 13:10 アラームの設定が一部誤りがありましたので修正しました。] AWSは便利な機能が豊富ですが、従量課金なので翌月頭に届く領収書(もしくは請求書)を見て、料金に驚くことも多々あります。 そのため、料金が想定よりも上回った場合に、C…

S3バケット作成時に自動的にタグをつける(CloudWatch Events + AWS Lambda)

[toc] AWSでタグ付けによるコストの割り当て(コストアロケーション)をしている方が多いと思います。私が所属する組織でもタグ付けによってAWS料金を分けることをしています。 コストの分割をやりやすくしてくれるので嬉しい機能ですが、ついついタグ付けを忘…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(3) 〜ファイルサイズの上限〜

連日 AWS Lambda Based Amazon Redshift Database Loader (以下、Redshift Loader)の内容です。 Redshift LoaderはS3にアップロードされたイベントを検知してAmazon Lambdaが実行されてRedshiftへデータロードされるのですが、1つ気になるのがS3へアップロー…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(2) 〜失敗したバッチの再実行〜

前回はAWS Lambda Based Amazon Redshift Database Loader(Redshift Loader)の使い方を紹介しました。今回はデータロード時に失敗した時の挙動やリカバリ方法について紹介します。 Redshiftへのデータロード失敗の挙動 試しにRedshiftクラスターをリサイズし…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(1)

[toc] アプリケーションログをRedshiftにロードしたいという案件があったので色々調べていたところ、AWS Lambda Based Amazon Redshift Database Loader というのがあったので使ってみました。 AWS Lambda Based Amazon Redshift Database Loader とは (名称…

スケジュールドリザーブドインスタンスがリリースされた

日次や週次、月次などずっとは稼働させないけれど、定期的に実行するEC2インスタンスに対してリザーブドインスタンスが買えるようになったとのことです。一日数時間しか動かさないEC2インスタンスでもオンデマンドよりも概ね5〜10%ぐらい安くなるとのこと。 …

FluentdからAmazon Elasticsearch Serviceへログ転送する時の注意点

昨年10月にAmazon Elasticsearch Service(Amazon ES)がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は…

EC2のAutoRecoveryについて調べてみた

サーバを何十台も稼働させているとEC2インスタンスが突然落ちることも少なからず起こってきます。 突然落ちる原因の1つとして「Status Checked Failed」になることがあります。こうなった場合はEC2インスタンスを再起動しなければなりません。自動化するのも…