aws
Amazon Athena はAmazon S3内のデータをSQLで検索できるサービスです。サーバを用意する必要がなくクエリ課金なので、私のいる部署でも重宝しています。 Athenaの問題点はクエリ履歴が45日間しか表示されないことです。セキュリティ要件としてAWS RDSやRedsh…
AWSからGCPへの移行案件があったときに、EC2インスタンスからGCEインスタンスに移行する必要が出てくることがあります。 ChefやAnsibleなどでインフラ構成をコード化していたりクラウドベンダーロックされていなければ、新しいGCEインスタンスを作ってやれば…
2021/10/19 KMSの権限が足りなかったので修正しました。 ちょっとした小ネタです。 KMSによって暗号化したEBSボリュームをEC2インスタンスにアタッチして起動する場合、そのKMSに対して適切な権限がないとEC2インスタンスを起動することができません。起動し…
最近までずっとAWSサービスストレージの暗号化しかやっていなかったのでネタは暗号化一本ですｗ 今回はRedshiftクラスタのストレージ暗号化です。 今回は長いので、準備編と移行編に分けたいと思います。 Redshiftクラスタの暗号化方法 どうやってデータを移…
前回はS3バケットのデフォルト暗号化のパフォーマンス比較を紹介しました。 本当はこちらを先に紹介すべきでしたが、今回はS3の暗号化についてまとめてみました。 暗号化の種類 サーバ側の暗号化(Server Side Encryption: SSE) クライアント側の暗号化(Clien…
ほんのちょっとしたbashコマンドですが、社内で評判が良かったので。 おそらくみんなが抱えているであろう悩み Auto Scalingや作り直しなどでEC2インスタンスがコロコロ入れ替わるのでホスト名を覚えきれない・うろ覚え EC2インスタンスにSSHログインしよう…
AWS CloudTrailはAWSの操作(正確にはAPIコールの呼び出し)を記録するサービスです。誰がどのような操作をしたのかを追うことができるため、監査に役立ちます。 AWSを本格的に利用しているところでは、用途に応じてAWSアカウントを複数作成しているケースが多…
2021/10/19 KMSの権限が足りなかったので修正しました。 AWSではデフォルト状態ではEBSやRDS、Redshiftなどストレージ部分が暗号化されていません。セキュリティが厳しい企業ではストレージの盗難時のデータ漏えいを防ぐために暗号化を要求されているかと思…
小ネタです。 Redshift クラスタをリストアしたい要望があったので、専用のIAMロールと権限を付与したのですが、Permission Deniedになってしまったので、原因調査と解決までしたので記事にしました。 やりたかったこと 以下のコマンドでリストアするつもり…
AWSのELBにはアクセスログをS3に保存できる機能が提供されています。 Classic Load Balancer のアクセスログ - Elastic Load Balancing Application Load Balancer のアクセスログ - Elastic Load Balancing このアクセスログをELBを持っているAWSアカウント…
Amazon DynamoDB(以下、DynamoDB)のキャパシティ(Read, Write)が、負荷に応じて上下するAuto Scaling機能が今年発表されました。 aws.amazon.com 今までは多めのキャパシティを確保しなければならず、その分は余計なコストになっていたのですが、Auto Scalin…
[toc] 一週間前になってしまいましたが、システムオペレーション（SysOps）アドミニストレーター – アソシエイト試験に合格してきました。今年3月にはソリューションアーキテクト-アソシエイトも受かっているため、2つの認定試験に合格していることになりま…
[toc] 常日頃から脆弱性スキャナVulsには大変お世話になっていることから、Vulsの勉強会 Vuls祭り #3 に行ってきました。 会場は DMM.com さんのセミナールームでした。めっちゃ広くてきれい！100人以上は余裕で入れる広さです。写真撮り忘れましたが、お酒…
S3バケットに配置しているオブジェクトファイルに対してBasic認証をかけたい場合があると思います。しかし、S3自体にBasic認証機能は提供されていません。そのため、今まではリバースプロキシとしてEC2を前段に置くことで実現していました。 最近、Lambda@Ed…
[toc] 開発者サポートプランにずっと加入していたのですが、昨年から以下のようなメールがAmazonから来ました。 2017年8月1日から料金モデルが変更になりますが、一旦ベーシックサポート(無料)に変更されるようです。 2016年8月10日に、開発者サポートプラン…
[toc] [2017/07/21 13:10 アラームの設定が一部誤りがありましたので修正しました。] AWSは便利な機能が豊富ですが、従量課金なので翌月頭に届く領収書(もしくは請求書)を見て、料金に驚くことも多々あります。 そのため、料金が想定よりも上回った場合に、C…
[toc] AWS RDSには拡張モニタリングという、OSレベルのメトリクスやプロセスのメトリクスを確認できるオプションがあります。RDSのパフォーマンスが低下したり何かしらのトラブルが生じた場合に原因究明に役立つ便利な機能です。また、メトリクスデータはClo…
[toc] AWS Summit 2017で先行発売(PDF版付き)されていたので、購入して読んでみました。 Amazonの商品ページを見ると、6/9発売なんですね。 実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~posted with amazlet at 17.0…
[toc] Amazon LinuxでImageMagickを使うことがあり、Yumでインストールしたのですが、使いたいバージョンよりも古かったということがありました。こちらの記事を参考にImageMagick-lastを入れようとしたのですが、やはり上手くいかず。。。また、Chefでレシ…
[toc] AWSでタグ付けによるコストの割り当て(コストアロケーション)をしている方が多いと思います。私が所属する組織でもタグ付けによってAWS料金を分けることをしています。 コストの分割をやりやすくしてくれるので嬉しい機能ですが、ついついタグ付けを忘…
[toc] 昨年にAWSで体験した、苦い思い出の一つに、Amazon RDSのメンテナンスによる意図しないアップグレードがありました。 EC2インスタンスのメンテナンス情報はメールで来ていたので、RDSなど他のプロダクトもメンテナンスがある場合はメールで通知される…
連日 AWS Lambda Based Amazon Redshift Database Loader (以下、Redshift Loader)の内容です。 Redshift LoaderはS3にアップロードされたイベントを検知してAmazon Lambdaが実行されてRedshiftへデータロードされるのですが、1つ気になるのがS3へアップロー…
前回はAWS Lambda Based Amazon Redshift Database Loader(Redshift Loader)の使い方を紹介しました。今回はデータロード時に失敗した時の挙動やリカバリ方法について紹介します。 Redshiftへのデータロード失敗の挙動 試しにRedshiftクラスターをリサイズし…
[toc] アプリケーションログをRedshiftにロードしたいという案件があったので色々調べていたところ、AWS Lambda Based Amazon Redshift Database Loader というのがあったので使ってみました。 AWS Lambda Based Amazon Redshift Database Loader とは (名称…
日次や週次、月次などずっとは稼働させないけれど、定期的に実行するEC2インスタンスに対してリザーブドインスタンスが買えるようになったとのことです。一日数時間しか動かさないEC2インスタンスでもオンデマンドよりも概ね5〜10%ぐらい安くなるとのこと。 …
昨年10月にAmazon Elasticsearch Service(Amazon ES)がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は…
(2015/11/05 追記) タイトルがおかしかったので修正しました。 前回の更新からまた大分空いてしまいました･･･ 下書きばかりが溜まっていくのですがちゃんと記事としてまとめられていないのでちょくちょく更新していくようにします。 waifu2xという画像を高画…
AWSのEC2インスタンスを使う上で最も不便を感じている点の1つとしてSwap領域が無いことだと思います(個人的観点)。 m1.smallとc1.mediumの場合のみデフォルトでSwap領域が追加されていますが、実運用においてもっと大きいインスタンスタイプを使う場合が多い…
VPCでサーバ構築していて、InternalELB(内部ELB)を使う必要がでてきました。 InternalELBというのは、インターネット(外部)からアクセスできず、VPC内でしかアクセスできないロードバランサです。InternalELBを作成すると、PublicELB(外部からアクセスできる…
先月、Amazon Linux AMI 2014.09がリリースされましたね。 仕事の案件でVPCを新規に構築しているのですが、せっかくなので最新のAMIを使おうと決めていました。今回は事情により、Instance Stored-backed(S3ベース)のEC2インスタンスを使う必要があったため…
