本日も乙

ただの自己満足な備忘録。

aws

S3の暗号化についてまとめてみた(2018年6月版)

前回はS3バケットのデフォルト暗号化のパフォーマンス比較を紹介しました。 本当はこちらを先に紹介すべきでしたが、今回はS3の暗号化についてまとめてみました。 暗号化の種類 サーバ側の暗号化(Server Side Encryption: SSE) クライアント側の暗号化(Clien…

pecoとEC2 APIを使って踏み台経由のSSHログインを楽にする

ほんのちょっとしたbashコマンドですが、社内で評判が良かったので。 おそらくみんなが抱えているであろう悩み Auto Scalingや作り直しなどでEC2インスタンスがコロコロ入れ替わるのでホスト名を覚えきれない・うろ覚え EC2インスタンスにSSHログインしよう…

複数AWSアカウントのCloudTrailログファイルを一つのS3バケットに集約する

AWS CloudTrailはAWSの操作(正確にはAPIコールの呼び出し)を記録するサービスです。誰がどのような操作をしたのかを追うことができるため、監査に役立ちます。 AWSを本格的に利用しているところでは、用途に応じてAWSアカウントを複数作成しているケースが多…

EBSボリュームの暗号化についてまとめてみた

AWSではデフォルト状態ではEBSやRDS、Redshiftなどストレージ部分が暗号化されていません。セキュリティが厳しい企業ではストレージの盗難時のデータ漏えいを防ぐために暗号化を要求されているかと思います。 EBSボリュームの暗号化を行う機会があり調べたり…

Amazon Redshift クラスタをリストアするときのIAM権限について注意が必要

小ネタです。 Redshift クラスタをリストアしたい要望があったので、専用のIAMロールと権限を付与したのですが、Permission Deniedになってしまったので、原因調査と解決までしたので記事にしました。 やりたかったこと 以下のコマンドでリストアするつもり…

ELBのアクセスログを別AWSアカウントにあるS3バケットに保存する

AWSのELBにはアクセスログをS3に保存できる機能が提供されています。 Classic Load Balancer のアクセスログ - Elastic Load Balancing Application Load Balancer のアクセスログ - Elastic Load Balancing このアクセスログをELBを持っているAWSアカウント…

DynamoDB Auto Scalingを使うときの注意点

Amazon DynamoDB(以下、DynamoDB)のキャパシティ(Read, Write)が、負荷に応じて上下するAuto Scaling機能が今年発表されました。 aws.amazon.com 今までは多めのキャパシティを確保しなければならず、その分は余計なコストになっていたのですが、Auto Scalin…

AWS 認定 SysOps アドミニストレーター – アソシエイトに受かってきた

[toc] 一週間前になってしまいましたが、システムオペレーション(SysOps)アドミニストレーター – アソシエイト試験に合格してきました。今年3月にはソリューションアーキテクト-アソシエイトも受かっているため、2つの認定試験に合格していることになりま…

Vuls祭り #3に行ってきました #vuls #vulsjp

[toc] 常日頃から脆弱性スキャナVulsには大変お世話になっていることから、Vulsの勉強会 Vuls祭り #3 に行ってきました。 会場は DMM.com さんのセミナールームでした。めっちゃ広くてきれい!100人以上は余裕で入れる広さです。写真撮り忘れましたが、お酒…

S3でサーバレスなBasic認証を実現する(CloudFront + Lambda@Edgeの活用)

S3バケットに配置しているオブジェクトファイルに対してBasic認証をかけたい場合があると思います。しかし、S3自体にBasic認証機能は提供されていません。そのため、今まではリバースプロキシとしてEC2を前段に置くことで実現していました。 最近、Lambda@Ed…

AWSの開発者サポートプランの料金モデルが変更になるのでどのように変わるのか調べてみた

[toc] 開発者サポートプランにずっと加入していたのですが、昨年から以下のようなメールがAmazonから来ました。 2017年8月1日から料金モデルが変更になりますが、一旦ベーシックサポート(無料)に変更されるようです。 2016年8月10日に、開発者サポートプラン…

AWSの請求アラート(Billing Alerts)をAWS CLIで設定する

[toc] [2017/07/21 13:10 アラームの設定が一部誤りがありましたので修正しました。] AWSは便利な機能が豊富ですが、従量課金なので翌月頭に届く領収書(もしくは請求書)を見て、料金に驚くことも多々あります。 そのため、料金が想定よりも上回った場合に、C…

AWS RDSの拡張モニタリングをMackerelで監視する

[toc] AWS RDSには拡張モニタリングという、OSレベルのメトリクスやプロセスのメトリクスを確認できるオプションがあります。RDSのパフォーマンスが低下したり何かしらのトラブルが生じた場合に原因究明に役立つ便利な機能です。また、メトリクスデータはClo…

「実践AWS Lambda」はAWS Lambdaを使うすべての人が読むと良い本

[toc] AWS Summit 2017で先行発売(PDF版付き)されていたので、購入して読んでみました。 Amazonの商品ページを見ると、6/9発売なんですね。 実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~posted with amazlet at 17.0…

Amazon LinuxでImageMagickのRPMを作成してインストールする

[toc] Amazon LinuxでImageMagickを使うことがあり、Yumでインストールしたのですが、使いたいバージョンよりも古かったということがありました。こちらの記事を参考にImageMagick-lastを入れようとしたのですが、やはり上手くいかず。。。また、Chefでレシ…

S3バケット作成時に自動的にタグをつける(CloudWatch Events + AWS Lambda)

[toc] AWSでタグ付けによるコストの割り当て(コストアロケーション)をしている方が多いと思います。私が所属する組織でもタグ付けによってAWS料金を分けることをしています。 コストの分割をやりやすくしてくれるので嬉しい機能ですが、ついついタグ付けを忘…

Amazon RDSのメンテナンスについて調べてみた

[toc] 昨年にAWSで体験した、苦い思い出の一つに、Amazon RDSのメンテナンスによる意図しないアップグレードがありました。 EC2インスタンスのメンテナンス情報はメールで来ていたので、RDSなど他のプロダクトもメンテナンスがある場合はメールで通知される…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(3) 〜ファイルサイズの上限〜

連日 AWS Lambda Based Amazon Redshift Database Loader (以下、Redshift Loader)の内容です。 Redshift LoaderはS3にアップロードされたイベントを検知してAmazon Lambdaが実行されてRedshiftへデータロードされるのですが、1つ気になるのがS3へアップロー…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(2) 〜失敗したバッチの再実行〜

前回はAWS Lambda Based Amazon Redshift Database Loader(Redshift Loader)の使い方を紹介しました。今回はデータロード時に失敗した時の挙動やリカバリ方法について紹介します。 Redshiftへのデータロード失敗の挙動 試しにRedshiftクラスターをリサイズし…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(1)

[toc] アプリケーションログをRedshiftにロードしたいという案件があったので色々調べていたところ、AWS Lambda Based Amazon Redshift Database Loader というのがあったので使ってみました。 AWS Lambda Based Amazon Redshift Database Loader とは (名称…

スケジュールドリザーブドインスタンスがリリースされた

日次や週次、月次などずっとは稼働させないけれど、定期的に実行するEC2インスタンスに対してリザーブドインスタンスが買えるようになったとのことです。一日数時間しか動かさないEC2インスタンスでもオンデマンドよりも概ね5〜10%ぐらい安くなるとのこと。 …

FluentdからAmazon Elasticsearch Serviceへログ転送する時の注意点

昨年10月にAmazon Elasticsearch Service(Amazon ES)がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は…

CentOS 6.6でwaifu2xを使えるようにしてみた

(2015/11/05 追記) タイトルがおかしかったので修正しました。 前回の更新からまた大分空いてしまいました・・・ 下書きばかりが溜まっていくのですがちゃんと記事としてまとめられていないのでちょくちょく更新していくようにします。 waifu2xという画像を高画…

EC2のEphemeral DiskにSwap領域を作成or拡張する

AWSのEC2インスタンスを使う上で最も不便を感じている点の1つとしてSwap領域が無いことだと思います(個人的観点)。 m1.smallとc1.mediumの場合のみデフォルトでSwap領域が追加されていますが、実運用においてもっと大きいインスタンスタイプを使う場合が多い…

InternalELB(内部ELB)のDNS設定にはCNAMEレコードを使う

VPCでサーバ構築していて、InternalELB(内部ELB)を使う必要がでてきました。 InternalELBというのは、インターネット(外部)からアクセスできず、VPC内でしかアクセスできないロードバランサです。InternalELBを作成すると、PublicELB(外部からアクセスできる…

Amazon Linux 2014.09(Instance Stored-backed)からAMIを作成するとEC2インスタンスのStatusChecksが失敗する件について

先月、Amazon Linux AMI 2014.09がリリースされましたね。 仕事の案件でVPCを新規に構築しているのですが、せっかくなので最新のAMIを使おうと決めていました。今回は事情により、Instance Stored-backed(S3ベース)のEC2インスタンスを使う必要があったため…

CloudFront + nginx(http_image_filter_module) + S3 を使って画像変換サーバを構築する

珍しく(初めて?)AWSネタです。 仕事でAWSのVPCを構築しているのですが、画像を取り扱うサーバが欲しいとの要望がありました。 画像を表示するだけならCloudFront+S3だけで強力な画像(CDN)サーバを構築することができるのですが、今回は画像サイズもリアルタ…

IAMユーザを追加して、アクセスキーとシークレットキーを取得する

前回の記事でコマンドからEC2インスタンスの起動や停止ができるようになりましたが、コマンドを使えるようにするにはアクセスキーとシークレットキーを設定しなければなりません。前回はその部分を省略したので今回はその手順を追っていきます。

Amazon EC2 API ToolsをインストールしてEC2インスタンスを起動する(&ログインするまで)

仕事でAmazon WebServices(AWS)をよく使っています。AWSで仮想サーバ(EC2インスタンス)を立ち上げたり、スナップショット(バックアップ)を作成して復元などが簡単にできるためサーバ構築などに大変便利ですね。 AWSのコンポーネント(EC2, RDS, ELBなど)を操…