本日も乙

ただの自己満足な備忘録。

aws

AWSとGCPのマルチクラウドについて話してきました(+補足)

当社初のテックカンファレンスがあって、マルチクラウドの取り組みについて話してきました。 当日のレポート↓ buildersbox.corp-sansan.com スライドはこちらになります。 来た人が少しでも得るものがあれば嬉しいです。 詳細レポートは後日会社ブログに寄稿…

【翻訳API】Amazon TranslateとGoogle Cloud Translation APIを比較調査した

翻訳APIを使いたいという要望があったため、AWSとGCPそれぞれが提供している翻訳APIを比較して調べてみました。 しかし今回は翻訳の精度は比較しておらず、仕様や規約、料金などを対象としています。 2018年11月時点における情報です。今後は変更になる可能…

AWSとGCP間のVPN接続の冗長構成とフェイルオーバーについての検証

前回の記事 でAWSとGCPのVPNの違いについて調べてみました。今回は冗長構成にしてみてVPNトンネルを落としたときに挙動から、各クラウドのVPNの違いについて見ていきたいと思います。 blog.jicoman.info 構成 AWS側の設定 GCP側の設定 フェイルオーバーの検…

AWS シンプルアイコンが新しくなったのでガイドラインを確認した

AWSのアイコンが新しくリニューアルされたとのことです。 dev.classmethod.jp 従来のアイコンと変わって落ち着いたシックな感じですね。今後はこちらのアイコンがアップデートされるようになるとのことです。 今作成中のスライド資料でこの新アイコンを使っ…

タグ付けしたAWSリソースのコストをリザーブドインスタンス適用無しのオンデマンド料金で計算する方法

小ネタです。 AWSではBillingの設定で独自に定義したタグに対してコストを算出することができます。この機能によって例えば、プロジェクト毎やシステム毎のAWS料金を確認できるようになります。料金はAWS Cost Explorer か、Cost & Usage Report(CUR)というC…

AWSとGCPにおけるVPNの帯域の違いに注意しよう

AWSとGCPとの間をプライベートに通信したい場合、VPN接続が考えられます。 過去にいくつかの参考記事(後述します)があるのですが、帯域幅について触れていることが少ないため、気になって調べてみました。 AWS よくある質問 - Amazon VPC | AWS に書いてあり…

AWS SDK for Goを使ったテストを書く

久しぶりのAWSネタです。 Go言語でAWSリソースを操作する場合、 AWS SDK for Go を使うことが多いと思います。 プログラムソースを書いたら当然(?)テストも書くことが重要になってきますよね(ですよね?)。 このときにAWS SDK for Goを使ってのテストってど…

AWSアクセスキーを使いやすくする AKM というツールを作った

作ったのは半年以上前だし、まだ直さなきゃいけないところがあるのですが、普段の業務でかなり重宝しているので紹介します。 何を作った akm (Aws access Key Manager) という、AWSアクセスキーを便利に管理するコマンドラインツールを作りました。Go言語で…

AWSの予算管理や請求アラートは AWS Budgets が便利

以前にAWSの請求アラートをAWS CLIで設定する記事を書きました。 blog.jicoman.info 請求アラートを設定することで、思わぬコスト増の抑制になりますが、細かい設定に対応できません。 例えば、 特定のリソース(S3など)だけに絞って請求アラートを設定した…

AWS LambdaでAthenaのクエリ履歴をS3に定期保存する

Amazon Athena はAmazon S3内のデータをSQLで検索できるサービスです。サーバを用意する必要がなくクエリ課金なので、私のいる部署でも重宝しています。 Athenaの問題点はクエリ履歴が45日間しか表示されないことです。セキュリティ要件としてAWS RDSやRedsh…

CloudEndure で Amazon EC2 から GCE に移行する

AWSからGCPへの移行案件があったときに、EC2インスタンスからGCEインスタンスに移行する必要が出てくることがあります。 ChefやAnsibleなどでインフラ構成をコード化していたりクラウドベンダーロックされていなければ、新しいGCEインスタンスを作ってやれば…

暗号化済EBSボリュームがアタッチされたEC2インスタンスを起動するIAMポリシー

ちょっとした小ネタです。 KMSによって暗号化したEBSボリュームをEC2インスタンスにアタッチして起動する場合、そのKMSに対して適切な権限がないとEC2インスタンスを起動することができません。起動したとしてもすぐに stopped になってしまいます。 KMSのキ…

Redshiftクラスタの暗号化をやってみた 〜準備編〜

最近までずっとAWSサービスストレージの暗号化しかやっていなかったのでネタは暗号化一本ですw 今回はRedshiftクラスタのストレージ暗号化です。 今回は長いので、準備編と移行編に分けたいと思います。 Redshiftクラスタの暗号化方法 どうやってデータを移…

S3の暗号化についてまとめてみた(2018年6月版)

前回はS3バケットのデフォルト暗号化のパフォーマンス比較を紹介しました。 本当はこちらを先に紹介すべきでしたが、今回はS3の暗号化についてまとめてみました。 暗号化の種類 サーバ側の暗号化(Server Side Encryption: SSE) クライアント側の暗号化(Clien…

pecoとEC2 APIを使って踏み台経由のSSHログインを楽にする

ほんのちょっとしたbashコマンドですが、社内で評判が良かったので。 おそらくみんなが抱えているであろう悩み Auto Scalingや作り直しなどでEC2インスタンスがコロコロ入れ替わるのでホスト名を覚えきれない・うろ覚え EC2インスタンスにSSHログインしよう…

複数AWSアカウントのCloudTrailログファイルを一つのS3バケットに集約する

AWS CloudTrailはAWSの操作(正確にはAPIコールの呼び出し)を記録するサービスです。誰がどのような操作をしたのかを追うことができるため、監査に役立ちます。 AWSを本格的に利用しているところでは、用途に応じてAWSアカウントを複数作成しているケースが多…

EBSボリュームの暗号化についてまとめてみた

AWSではデフォルト状態ではEBSやRDS、Redshiftなどストレージ部分が暗号化されていません。セキュリティが厳しい企業ではストレージの盗難時のデータ漏えいを防ぐために暗号化を要求されているかと思います。 EBSボリュームの暗号化を行う機会があり調べたり…

Amazon Redshift クラスタをリストアするときのIAM権限について注意が必要

小ネタです。 Redshift クラスタをリストアしたい要望があったので、専用のIAMロールと権限を付与したのですが、Permission Deniedになってしまったので、原因調査と解決までしたので記事にしました。 やりたかったこと 以下のコマンドでリストアするつもり…

ELBのアクセスログを別AWSアカウントにあるS3バケットに保存する

AWSのELBにはアクセスログをS3に保存できる機能が提供されています。 Classic Load Balancer のアクセスログ - Elastic Load Balancing Application Load Balancer のアクセスログ - Elastic Load Balancing このアクセスログをELBを持っているAWSアカウント…

DynamoDB Auto Scalingを使うときの注意点

Amazon DynamoDB(以下、DynamoDB)のキャパシティ(Read, Write)が、負荷に応じて上下するAuto Scaling機能が今年発表されました。 aws.amazon.com 今までは多めのキャパシティを確保しなければならず、その分は余計なコストになっていたのですが、Auto Scalin…

AWS 認定 SysOps アドミニストレーター – アソシエイトに受かってきた

[toc] 一週間前になってしまいましたが、システムオペレーション(SysOps)アドミニストレーター – アソシエイト試験に合格してきました。今年3月にはソリューションアーキテクト-アソシエイトも受かっているため、2つの認定試験に合格していることになりま…

Vuls祭り #3に行ってきました #vuls #vulsjp

[toc] 常日頃から脆弱性スキャナVulsには大変お世話になっていることから、Vulsの勉強会 Vuls祭り #3 に行ってきました。 会場は DMM.com さんのセミナールームでした。めっちゃ広くてきれい!100人以上は余裕で入れる広さです。写真撮り忘れましたが、お酒…

S3でサーバレスなBasic認証を実現する(CloudFront + Lambda@Edgeの活用)

S3バケットに配置しているオブジェクトファイルに対してBasic認証をかけたい場合があると思います。しかし、S3自体にBasic認証機能は提供されていません。そのため、今まではリバースプロキシとしてEC2を前段に置くことで実現していました。 最近、Lambda@Ed…

AWSの開発者サポートプランの料金モデルが変更になるのでどのように変わるのか調べてみた

[toc] 開発者サポートプランにずっと加入していたのですが、昨年から以下のようなメールがAmazonから来ました。 2017年8月1日から料金モデルが変更になりますが、一旦ベーシックサポート(無料)に変更されるようです。 2016年8月10日に、開発者サポートプラン…

AWSの請求アラート(Billing Alerts)をAWS CLIで設定する

[toc] [2017/07/21 13:10 アラームの設定が一部誤りがありましたので修正しました。] AWSは便利な機能が豊富ですが、従量課金なので翌月頭に届く領収書(もしくは請求書)を見て、料金に驚くことも多々あります。 そのため、料金が想定よりも上回った場合に、C…

AWS RDSの拡張モニタリングをMackerelで監視する

[toc] AWS RDSには拡張モニタリングという、OSレベルのメトリクスやプロセスのメトリクスを確認できるオプションがあります。RDSのパフォーマンスが低下したり何かしらのトラブルが生じた場合に原因究明に役立つ便利な機能です。また、メトリクスデータはClo…

「実践AWS Lambda」はAWS Lambdaを使うすべての人が読むと良い本

[toc] AWS Summit 2017で先行発売(PDF版付き)されていたので、購入して読んでみました。 Amazonの商品ページを見ると、6/9発売なんですね。 実践AWS Lambda ~「サーバレス」を実現する新しいアプリケーションのプラットフォーム~posted with amazlet at 17.0…

Amazon LinuxでImageMagickのRPMを作成してインストールする

[toc] Amazon LinuxでImageMagickを使うことがあり、Yumでインストールしたのですが、使いたいバージョンよりも古かったということがありました。こちらの記事を参考にImageMagick-lastを入れようとしたのですが、やはり上手くいかず。。。また、Chefでレシ…

S3バケット作成時に自動的にタグをつける(CloudWatch Events + AWS Lambda)

[toc] AWSでタグ付けによるコストの割り当て(コストアロケーション)をしている方が多いと思います。私が所属する組織でもタグ付けによってAWS料金を分けることをしています。 コストの分割をやりやすくしてくれるので嬉しい機能ですが、ついついタグ付けを忘…

Amazon RDSのメンテナンスについて調べてみた

[toc] 昨年にAWSで体験した、苦い思い出の一つに、Amazon RDSのメンテナンスによる意図しないアップグレードがありました。 EC2インスタンスのメンテナンス情報はメールで来ていたので、RDSなど他のプロダクトもメンテナンスがある場合はメールで通知される…