本日も乙

ただの自己満足な備忘録。

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

Auroraクラスタを他のAWSアカウントに複製したい場合、リストアとクローンのどちらがいいのか

知っている人にとっては当たり前の話かと思いますが、知らない人にとっては知っておいた方が良い話です。 Amazon Aurora クラスタを別の AWS アカウントに複製したい場合に、リストアとクローンの両方が使えますがどちらが良いでしょうか。 結論からいうとク…

【書評】AWSでクラウドネイティブな開発と運用をキャッチアップできる「クラウドネイティブファーストストーリー」

技術書典 応援祭で購入して積んでいた「クラウドネイティブファーストストーリー」を読んでとても良かったので本記事で紹介します。 booth.pm なぜ読んだのか 章立て 第1章 第2章 第3章 第4章 よかったところ プロダクションレディなアーキテクチャ 「何…

「これから始める Amazon Elasticsearch Service セミナー」に参加してきました

AWS公式のオンラインセミナー「これから始める Amazon Elasticsearch Service セミナー」に参加してきたのでそのレポート記事です。 参加動機 アジェンダ Introduction to Amazon Elasticsearch Service Elasticsearch とは Amazon ES の概要 Amazon Elastic…

【書評】AWSコスト最適化の知識・運用を学べる「Mastering AWS Cost Optimization」

技術書典 応援祭で Amazon Web Servicesコスト最適化入門という技術同人誌を出しました。出した後に AWS コストについて扱った本がないかを調べたところ、「Mastering AWS Cost Optimization」という本がとても良かったので紹介します。 Mastering AWS Cost …

機械学習初心者の私がML Study Jams Vol.4に参加してきました

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

Amazon Aurora MySQL で db.r5.8xlarge に変更できなかった場合の対応方法

先日、本番環境で稼働していた Aurora MySQL の DB インスタンスタイプを R4 から db.r5.8xlarge に変えようとしていました。しかし、マネジメントコンソールでインスタンスタイプを変えようとすると下の図のように r5.8xlarge が一覧に出てきません。 ドキ…

Amazon Linux 2でsyslogに出力するBashのRPMを作成する

セキュリティ要件でサーバ内で実行した全ユーザのコマンド履歴を保存することが求められることがあります。いくつかの方法がありますが、Bash ではコマンド履歴を syslog に出力する機能が提供されており、今回はその方法を採用することにしました。 syslog …

EC2 GPUインスタンスの比較表をつくった

私が所属している部署では機械学習などの用途で GPU インスタンスを活用しています。GPU インスタンスって普通の EC2 インスタンスよりめっちゃ高いんですよね。今までケチって G2 や P2 インスタンスを使っていましたが、最近 G4 インスタンスがあるのを知…

DynamoDBリザーブドキャパシティを正しく理解する

Amazon DynamoDB(以下、DynamoDB)のコストを下げる手段としてリザーブドキャパシティが有効です。リザーブドキャパシティはEC2 リザーブドインスタンスと同じように前払いによるコミットメントをすることによって割引で利用できる料金オプションです。 し…

『Amazon Web Servicesコスト最適化入門』の感想フォームをつくりました

技術書典 応援祭で『Amazon Web Servicesコスト最適化入門』を頒布させていただきました。 blog.jicoman.info おかげさまでオンラインなのにも関わらず多くの方にご購入いただきましてとても嬉しく思っています。 本書をまだ買ってない人は BOOTH で販売して…

EC2インスタンスタイプについてまとめてみた(2020年4月版)

EC2を普段から使っている人にとっては今更かなと思いましたが、ここ1〜2年で多くのインスタンスタイプが発表されていて、その辺りのアップデートが追いついていなかったので改めて調べてみました。 目次 目次 インスタンスファミリー EC2 インスタンスタイプ…

【AWS】Savings Plans がどのように適用されるのかを理解する

2019年11月に Savings Plans(以下、SP)という新しい料金体系、割引プランが発表されました。Savings Plans はリザーブドインスタンス(以下、RI)と同じ割引率で、RIよりも柔軟性に富んでいます。EC2 の他に、Fargate、AWS Lambda(以下、Lambda)にも適用…

「[Action Required] Amazon S3 and Amazon CloudFront migrating default certificates to Amazon Trust Services in March 2021」というメールについて

3月19日ぐらいにブログタイトルのような件名のメールが届いた。今後トラブルがあったときに備忘として残しておく。 概要 2021年3月1日から CloudFront・S3 の SSL 証明書のルート認証局が DigiCert から Amazon 自社認証局(Amazon Trust Services)に変更さ…

商業誌版「Spinnaker入門」刊行によせて

技術書典7 で「Spinnaker入門」という同人誌を頒布させていただきました。物理本約100部*1に加え BOOTH で50部以上の購入がありました。ありがとうございます。 この度ご縁がありまして、商業誌として販売されました!Amazon など多くのサイトで購入可能とな…

技術書典 応援祭で「Amazon Web Services コスト最適化入門」を頒布します

3/7(土)から開催される技術書典 応援祭で「Amazon Web Services コスト最適化入門」という技術同人誌を頒布します。 今回は個人参加ではなく、同僚を募っての参加です。サークル紹介および頒布本の紹介は会社ブログに書きましたのでよければ読んでください…

AWSネットワーク料金についてまとめてみた(2020年1月)

先日、このようなツイートをしたところ想像以上の反響がありました。せいぜい10いいねつけばいいかなって思っていたのですが、1,000いいね以上もついてかなり吃驚しています。 AWSのネットワーク・データ転送料金がひと目で分かる図を作った。Direct Connect…

Web Risk API で危険な URL から守る

個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…

2019年振り返り & 2020年の目標

あけましておめでとうございます。 2019年が終わったので昨年冒頭に設定した目標を振り返って2020年の目標を定めたいと思います。 2019年振り返り 昨年の記事 2019年の目標 - 本日も乙 アウトプットの量と質を増やす 技術カンファレンスにCfP(Call for Paper…

GCPUG Tokyo December 2019 に参加してきました

先日 GCPUG Tokyo December 2019 に参加してきました。 会場は株式会社ディー・エヌ・エーでした。実はヒカリエに入ったのが初めてで*1買い物客と一緒にエスカレーター乗っていると朝の通勤時に混雑で大変そうだなと思ってしまいます。 オフィスはめっちゃ広…

【GCP】OS Inventory Management でパッケージ一覧を取得する

本稿は Sansan Advent Calendar 2019 の20日目の記事です。 今年は GCP に触れることが多い一年でした。GCP に触れてきた中で気になるアップデートがあったので紹介をします。 OS Inventory Management とは OS Inventory Management は GCE インスタンスに…

GCE インスタンス・GKE ノードの GPU メトリクスを Stackdriver に投げるツールを作った

本稿は Google Cloud Platform Advent Calendar 2019 の 17日目の記事です。 tl;dr GCE インスタンスで GPU メトリクスを取りたい! リポジトリ サポートOS メトリクス 使い方 Docker コンテナで動かす GKE クラスタで動かす メトリクス値の移動平均 まとめ …

技術書典8 で AWS コスト本を出します

先日、技術書典8のサークル募集が開始されましたね。 blog.techbookfest.org まだ応募もしていないのにタイトルのようなことを言ってしまっていますが、もしサークル当選したら AWS コスト本を出したいと思います。 なぜコスト本なのか 技術書典7で AWS IAM…

GCE プリエンプティブインスタンスを安全に停止する

プリエンプティブインスタンス はAWSのスポットインスタンスと同じように空きリソースを活用して通常のGCEインスタンスより格安で使えるオプションです。コストを最小限に抑えるためにはプリエンプティブインスタンスの有効活用が欠かせませんが、制約として…

IntelliJ IDEA で Spinnaker をリモートデバッグする

業務で Spinnaker を活用したデプロイフローを構築しています。Spinnaker は便利なことが多い反面、バグに遭遇したりクラウドの新機能に追いついていないなどの問題もしばしば遭遇します。今直面しているのが、GCP の Internal HTTP(S) Load Balancing に Sp…

他 GCP プロジェクトの GCS バケットにアクセスする

小ネタ系です。 GCS バケットがある GCP プロジェクトとは別の GCP プロジェクトから GCS オブジェクト(ファイル)を取得したい場合があったりします。AWS だとクロスアカウントを連携するために IAM ロール作って AssumeRole するとか面倒ですが、GCP だと…

#技術書典 で継続デリバリーツール Spinnaker 入門を販売しました

2019年9月22日の技術書典7で「Spinnaker入門」という本を出しました。初めての本執筆で同人誌デビューです。 こんな感じです。申し込み当初は日和って50部でいいかなと思っていたのですが、サークルチェック数が40とか50になったので、チャレンジして80部に…

2020年1月から GCE の外部 IP アドレスと NAT ゲートウェイの料金体系が変わる

本日、New pricing for external IPs for Google Compute Engine VMs and Cloud NAT from January 1, 2020 という件名のメールがきていました。 内容を要約すると、 2020年1月から料金体系が変わって自動適用されるよ GCE の外部IPアドレスが無料だったけど…

Google Cloud Next Tokyo 2019 に行ってきた

今年も Google Cloud Next Tokyo 2019 に参加してきました。 2日間とも参加したかったのですが、業務都合があり1日目のみの参加です。 セッションの感想などは会社ブログに譲るとして、本記事は写真から Cloud Next を振り返りたいと思います。 会場について…