本日も乙

ただの自己満足な備忘録。

AWSアクセスキーを使いやすくする AKM というツールを作った

作ったのは半年以上前だし、まだ直さなきゃいけないところがあるのですが、普段の業務でかなり重宝しているので紹介します。 何を作った akm (Aws access Key Manager) という、AWSアクセスキーを便利に管理するコマンドラインツールを作りました。Go言語で…

マネージドNATサービス GCP Cloud NAT がリリースされました

先日、GCPでNATインスタンスを構築する記事 を書いたばかりですが、なんとマネージドNATサービス Cloud NATがベータ版でリリースされました。 cloud.google.com リリースされたのでドキュメントを読んで気にあるポイントを整理 & 実際に試してみました。 GCP…

GCPのリソースの上限値(クオータ)に気をつけよう

GCPに限らずAWSなど他のパブリッククラウドにも言えますが、新規アカウント作成時からデフォルトでは作成できるリソース数にかなりの制限がかけられています。これはアクセスキーやトークンなどの認証情報が漏洩した場合少しでも被害を最小限にするなどとい…

会社テックカンファレンスのお知らせ & 登壇します

あんまりブログで宣伝をやらない方針でかつ所属先が分かるようなことはあまり書かなかったのですが、たまにはいいかなと。 弊社初となるテックカンファレンスをやります。 jp.corp-sansan.com 日程:2018年11月10日(土) 開催時間:13:00〜19:00(12:30より受…

GCPのHTTPロードバランサ用のマネージドSSL証明書がリリースされたので試してみた

Google Cloud Load Balancer(GCLB) でマネージドのSSL証明書がパブリックベータでリリースされました。 同時にManaged TLS証明書が GCEの HTTPS LB でサポートされました。https://t.co/YFsxBIlSHV#gcpja— Yuta.H (@yutah_3) 2018年10月11日 Creating and Us…

OS LoginでGCEインスタンスへのSSH接続を管理する

皆さんはサーバにログインするユーザをどのように管理してますか?サーバ毎にユーザを作る、LDAP、Active Directoryが挙げられます。 私たちはパブリッククラウドを使っているので、サーバにログインするユーザとは別のユーザも必要になります。アカウントの…

GCPの主要サービスや設計を俯瞰するには最適な1冊 - 「Google Cloud Platform エンタープライズ設計ガイド」

ここ数日Google Cloud Platform (GCP)に関する記事を書いたり調べていることが多いです。ドキュメントが大事なのは言うまでもないですが、ドキュメントは細かい仕様を調べていくのに向いているので、どうも分かりづらかったりサービスを俯瞰したいときにはあ…

CloudEndureで移行したGCEインスタンスの起動が遅い原因を調査した

CloudEndure でAmazon EC2インスタンスからGCEインスタンスに移行する記事の中で、「GCEインスタンスの起動を早くする」方法を紹介しました。 blog.jicoman.info 通常であれば、LinuxのGCEインスタンスの起動は1分程度でSSH接続できるのですが、CloudEndure …

1on1は部下を成長させる --- 「ヤフーの1on1」を読んだ

最近、新しい人が入ってきてメンターをやっています。後輩さんの面倒を見るのは新卒で入ったときに学生インターンを見たとき以来なので、皆無といっていいです。 メンターとかできるような人柄やスキルがあるとは思わないけど、前職上司から根拠は分かりませ…

【課外学習 I】Gopher道場 〜DDD〜 に参加してきました

メルペイが主催しているGopher道場の課外学習としてDDD(ドメイン駆動設計)の勉強会があったので参加してきました。 mercari.connpass.com Gopher道場については過去記事をご覧ください。 blog.jicoman.info 会場に着くとお酒と美味しい軽食が用意されてい…

Cloud ArmorでGoogle Cloud Load Balancerへのアクセス元IPアドレスを制限する

GCPのGoogle Cloud Load Balancer(GCLB)で特定のIPアドレスのみアクセスを許可したい場合がありますよね。あるとします。 GCPでIPアドレス制限したい場合は、ファイアウォール ルール を思い浮かべると思いますが、これはGCEに対しての設定であるため、GCLB…

コマンドラインでGCP Autoscaler(GCE + GCLB)を設定する

コマンドライン(gcloudコマンド)でGCP Autoscaler *1 を設定したときのメモです。詳細の説明は省いています。 Autoscalerを設定するために、インスタンステンプレート、マネージドインスタンスグループ、Google ロードバランサ(GCLB)の作成も行いました…

AWSの予算管理や請求アラートは AWS Budgets が便利

以前にAWSの請求アラートをAWS CLIで設定する記事を書きました。 blog.jicoman.info 請求アラートを設定することで、思わぬコスト増の抑制になりますが、細かい設定に対応できません。 例えば、 特定のリソース(S3など)だけに絞って請求アラートを設定した…

GCEインスタンスの永続ディスクの容量を縮小する

GCEインスタンスの永続化ディスク *1 はオンラインで拡張ができますが縮小ができません。 AWSのEBSボリュームも同様に縮小ができませんが、歴史が長いので色んな記事がヒットします。大抵はデータコピーするか、AMIから復元するかで縮小が可能です。 しかし…

AWS LambdaでAthenaのクエリ履歴をS3に定期保存する

Amazon Athena はAmazon S3内のデータをSQLで検索できるサービスです。サーバを用意する必要がなくクエリ課金なので、私のいる部署でも重宝しています。 Athenaの問題点はクエリ履歴が45日間しか表示されないことです。セキュリティ要件としてAWS RDSやRedsh…

CloudEndure で Amazon EC2 から GCE に移行する

AWSからGCPへの移行案件があったときに、EC2インスタンスからGCEインスタンスに移行する必要が出てくることがあります。 ChefやAnsibleなどでインフラ構成をコード化していたりクラウドベンダーロックされていなければ、新しいGCEインスタンスを作ってやれば…

Windows EC2インスタンスをXenベースからKVMベース(M5/C5)へ変更した & メモリリーク問題への対処

昨年にKVMベースの新しいインスタンスタイプが発表されたことは記憶に新しいと思います。 www.publickey1.jp 2018年9月現在、C5及びM5インスタンスが東京リージョンに来ており、従来のC4, M5インスタンスと比較してコストパフォーマンスに優れているため、使…

GCPを本格的に使うときにインストールしておくと便利なChrome拡張機能

今週は Google Cloud Next Tokyo 2018 ということでGCPメインで記事を書いています。 GCPをガッツリ使うとなったときに色々不便なところが出てくるものですが、それを解消してくれる便利なChrome拡張機能を見つけたので紹介します。 Chrome拡張開発者 @addsi…

GCPのプロジェクト間でGCEイメージを共有する

昨日からGoogle Cloud Next Tokyo 2018が開催されていますね。私は残念ながら家庭の事情により基調講演のみの参加となりました。 聴きたいセッションがたくさんあってかなり前からセッションの予約をしていたのに非常に残念です。後日動画がアップされること…

GCPにおける踏み台サーバの構築メモ

GCPでNATインスタンスを構築する で書いたように、外部ネットワークへの通信をNATインスタンス経由にする場合、GCEインスタンスにグローバルIPアドレスは付与できないため、踏み台サーバ経由でログインすることになります。 blog.jicoman.info 本記事は踏み…

はてなブログに移行しました

このブログって2012年から続けています。僕も覚えてなくてそんなに長くやっていたんだ。VPSサーバにWordprsssを載っけていたのですが、ふと思い立ってはてなブログに移行してみることにしました。 幸いにしてサブドメインにしていたのと、URLパスが ?p=xxx …

Stackdriver と アラート通知ツール OpsGenie を連携する

私が担当しているシステムの監視は Mackerel、通知管理サービス(エスカレーション、TELコールなど)は OpsGenie を使っています。 AWSリソースの監視はMackerelのAWSインテグレーションによって、EC2の他、ELBやRDSの監視ができますが、GCPのロードバランサや…

GCPでNATインスタンスを構築する

(2018/10/17 追記) 先日マネージドNATサービスがリリースされました! blog.jicoman.info 目次 NATインスタンスを構築する理由 NATインスタンスの構築って面倒? NATインスタンス経由にする場合のデメリット AWSとGCPにおけるルーティングの違い 構築方法 2…

負荷検証ツール「httperf」が500KBまでしかPOSTできない問題を対処した

小ネタです。 負荷検証を行う案件があり、httperfがシンプルかつ一定数のリクエストを送るのが簡単だったので使っていました。 システム内のAPIが対象で、で画像データをPOSTしその解析結果が返ってくるといったものです。以下のようなコマンドで負荷をかけ…

Vuls祭り #4でスポンサー&運営手伝いしてきました

昨日の記事の builderscon と時系列が逆ですが、8月27日のVuls祭り #4に運営手伝いしてきたのと色々あって(会社のお金で)ドリンク提供もさせてもらいました。 vuls-jp.connpass.com スポンサー特典としてシール・ノベルティグッズを受付で置かせてもらいま…

builderscon 2018 にボランティアスタッフで参加してきました

builderscon 2018 が終わって少し経ってしまったけど、 ブログを書くまでは builderscon なので簡単ながら参加レポートを書きました。 builderscon.io builderscon 初参加かつ初カンファレンススタッフとして参加してきました。 なぜスタッフ参加したのか 毎…

VPC Flow Logsの出力先を一つのS3バケットに集約する

VPC Flow Logsとは VPC フローログは、VPC のネットワークインターフェイスとの間で行き来する IP トラフィックに関する情報をキャプチャできるようにする機能です。フローログのデータは、Amazon CloudWatch Logs を使用して保存されます。フローログを作成…

暗号化済EBSボリュームがアタッチされたEC2インスタンスを起動するIAMポリシー

ちょっとした小ネタです。 KMSによって暗号化したEBSボリュームをEC2インスタンスにアタッチして起動する場合、そのKMSに対して適切な権限がないとEC2インスタンスを起動することができません。起動したとしてもすぐに stopped になってしまいます。 KMSのキ…

S3からGlacierにライフサイクルで移行するときにお金がかかるので注意

以前にやらかした恥ずかしい出来事をあえて惜しむことなくここにさらけ出します。 ライフサイクルでGlacierに移行しようと設定した あるS3バケットでライフサイクルによって1年経過したオブジェクトをGlacierに移行するように設定しました。そのS3バケットに…

Redshiftクラスタの暗号化をやってみた 〜移行編〜

昨日の続きです。 blog.jicoman.info 実際に移行してみてつまづいたことや、データ移行時間の短縮について解説します。 前回記事の「最後に」でちょろっと書きましたが、UnloadCopyUtilityを動かすとわかりますが、小さいテーブルの移行でしか考慮されていな…