本日も乙

ただの自己満足な備忘録。

gcp

デフォルトのCloud ComposerからPrivate IP環境のCloud Composerに移行する

gcp

Zennで記事を書きました。 zenn.dev

Cloud ComposerのプライベートIPネットワークについてのまとめ

gcp

Zennで記事を書きました。 Cloud ComposerのプライベートIP環境についてドキュメントが複雑で事例が少ないので調べるのに苦労しました。Terraformコード付きです。 Cloud Composer移行は別で書きたいと思います。 zenn.dev

機械学習初心者の私がML Study Jams Vol.4に参加してきました

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

Web Risk API で危険な URL から守る

個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…

GCPUG Tokyo December 2019 に参加してきました

先日 GCPUG Tokyo December 2019 に参加してきました。 会場は株式会社ディー・エヌ・エーでした。実はヒカリエに入ったのが初めてで*1買い物客と一緒にエスカレーター乗っていると朝の通勤時に混雑で大変そうだなと思ってしまいます。 オフィスはめっちゃ広…

【GCP】OS Inventory Management でパッケージ一覧を取得する

本稿は Sansan Advent Calendar 2019 の20日目の記事です。 今年は GCP に触れることが多い一年でした。GCP に触れてきた中で気になるアップデートがあったので紹介をします。 OS Inventory Management とは OS Inventory Management は GCE インスタンスに…

GCE インスタンス・GKE ノードの GPU メトリクスを Stackdriver に投げるツールを作った

本稿は Google Cloud Platform Advent Calendar 2019 の 17日目の記事です。 tl;dr GCE インスタンスで GPU メトリクスを取りたい! リポジトリ サポートOS メトリクス 使い方 Docker コンテナで動かす GKE クラスタで動かす メトリクス値の移動平均 まとめ …

他 GCP プロジェクトの GCS バケットにアクセスする

小ネタ系です。 GCS バケットがある GCP プロジェクトとは別の GCP プロジェクトから GCS オブジェクト(ファイル)を取得したい場合があったりします。AWS だとクロスアカウントを連携するために IAM ロール作って AssumeRole するとか面倒ですが、GCP だと…

2020年1月から GCE の外部 IP アドレスと NAT ゲートウェイの料金体系が変わる

本日、New pricing for external IPs for Google Compute Engine VMs and Cloud NAT from January 1, 2020 という件名のメールがきていました。 内容を要約すると、 2020年1月から料金体系が変わって自動適用されるよ GCE の外部IPアドレスが無料だったけど…

Google Cloud Next Tokyo 2019 に行ってきた

今年も Google Cloud Next Tokyo 2019 に参加してきました。 2日間とも参加したかったのですが、業務都合があり1日目のみの参加です。 セッションの感想などは会社ブログに譲るとして、本記事は写真から Cloud Next を振り返りたいと思います。 会場について…

Google Container Registry (GCR) のリポジトリ一覧を一発で取得する

小ネタです。 特定の GCP プロジェクトにある Google Container Registry (GCR) リポジトリ一覧を取得しようと、gcloud container images list コマンドを実行したのですが、 Listed 0 items. となってしまいました。 $ gcloud container images list Listed…

GCE に Spinnaker をインストールする

GCPのデプロイツールとして Spinnaker を検討しています。本記事GCEインスタンスに Spinnaker をインストールしたときのメモを共有します。 なお、 Spinnaker とは?他のCI/CDツールとどう違うの?とかは他の記事に譲ります。 GCPサービスアカウントの作成 s…

Stackdriver Logging, Cloud Pub/Sub, Cloud Functionsで特定のイベント時にSlack通知する

GCPのCloud FunctionsはHTTPリクエスト、Cloud Pub/Sub、Firebase、GCS *1 をトリガーに呼び出すことができる、イベント駆動型のサーバレスサービスです。よくある例として、Cloud Storage(GCS)にファイルを置いた場合にCloud Functionsを実行して何かしらの…

Windows on GCEにおける起動/停止スクリプトの実行方法についての調査

コンテナが流行っているこのご時世、GCEでかつWindowsマシンというマイナーな話題ですが、現行システムで動かしている以上、色々調べなければならないこともあるわけでして。 最近躓いているのが、Windows VMマシンで起動および停止スクリプトが、GCEの起動…

Cloud Storage(GCS)のバケットロックによるファイル保持で変更・削除から守る

昨年のアップデートになりますが、Cloud Storage(GCS) の Bucket Lock 機能がGAとしてリリースされました。 cloud.google.com Bucket Lock 機能によって、特定のGCSバケットに格納されたファイル(オブジェクト)は指定した期間は変更および削除ができなくなり…

Cloud DNSのプライベートDNSゾーンがリリースされたので試してみた

本記事は Google Cloud Platform その1 Advent Calendar 2018 - Qiita の4日目の記事です。 GCPといえば、BigQueryとかSpannerとかGKEとかの話が多いですが、ネットワーク関連のアップデートもしばしばあります。 少々前になりますが、GCPサービスの Cloud…

【Terraform】GCPインスタンステンプレートを変更するときに削除エラーが起きたときの解決方法

なんとこの記事でブログ200記事目です!2012年5月から始めたので約6年半での到達はペースとしてはかなり遅いですが、今後はガンガン書いていきます! 今回はTerraform + GCPネタです。 Auto Scaling on GCEをTerraformで書いていて、インスタンステンプレー…

Windows on GCEにおける起動スクリプト Tips

GCE on Windowsを扱っています。Linuxと比較すると注意すべき点がいくつかありますが、そのうちの一つが起動スクリプトがあります。 なかなか情報が出回っていなかったので色々試してみて得たTipsを書き連ねたいと思います。 スタートアップスクリプトのメタ…

Google Cloud Platform ハンズオンセミナー 〜はじめてみようデータサービス編〜 に行ってきました

AWS re:Inventが始まっている最中ですが、GCPハンズオンセミナーに行ってきました。 セミナー概要↓ cloudplatformonline.com 参加動機 なにをやったのか BigQueryの基本 Datalab DataStudio Dataprep BigQuery ML 余力がある人向けコンテンツ Cloud Pub/Sub …

pecoとgcloudコマンドを使って、踏み台経由のGCEインスタンスへのSSHログインを楽にする

以前にAWSにおいて踏み台サーバ経由のEC2インスタンスへのSSHログインをpecoとEC2 APIを使って楽にする方法を書きました。 blog.jicoman.info GCPではデフォルトでは踏み台サーバなし(パブリックアクセス)でSSHログインできますが、セキュリティ要件として踏…

AWSとGCPのマルチクラウドについて話してきました(+補足)

当社初のテックカンファレンスがあって、マルチクラウドの取り組みについて話してきました。 当日のレポート↓ buildersbox.corp-sansan.com スライドはこちらになります。 来た人が少しでも得るものがあれば嬉しいです。 詳細レポートは後日会社ブログに寄稿…

【翻訳API】Amazon TranslateとGoogle Cloud Translation APIを比較調査した

翻訳APIを使いたいという要望があったため、AWSとGCPそれぞれが提供している翻訳APIを比較して調べてみました。 しかし今回は翻訳の精度は比較しておらず、仕様や規約、料金などを対象としています。 2018年11月時点における情報です。今後は変更になる可能…

GCPリソースに関するプログラムを書くときはリージョンかゾーンかを意識しよう

GCPリソースを操作するツールを書いているときにハマったので共有します。 Auto Scalerメソッドがふたつある! やりたかったことは AutoScalerに関する情報の取得でした。 ドキュメントには必要パラメータや返却値、サンプルコードがあるのでよく見ています…

AWSとGCP間のVPN接続の冗長構成とフェイルオーバーについての検証

前回の記事 でAWSとGCPのVPNの違いについて調べてみました。今回は冗長構成にしてみてVPNトンネルを落としたときに挙動から、各クラウドのVPNの違いについて見ていきたいと思います。 blog.jicoman.info 構成 AWS側の設定 GCP側の設定 フェイルオーバーの検…

【課外学習 II】Gopher道場 〜GCP Day1〜 に参加してきました

メルペイ社が主催しているGopher道場の課外学習としGCPの勉強会があったので参加してきました。 mercari.connpass.com Gopher道場については過去記事をご覧ください。 blog.jicoman.info 講師は @sinmetal 氏です。 今回はDay 1として Google Kubernetes Eng…

GCP マネージドインスタンスグループのインスタンスサイズを簡単に変更するコマンドラインツールを作った

最近、ちょくちょくテストも書いてないツールを作ってばかりです。今回も最近作ったコマンドツールを紹介します。 これは何? github.com GCP マネージドインスタンスグループのインスタンスサイズ(最小、最大)だけを変更するコマンドラインツールです。 な…

AWSとGCPにおけるVPNの帯域の違いに注意しよう

AWSとGCPとの間をプライベートに通信したい場合、VPN接続が考えられます。 過去にいくつかの参考記事(後述します)があるのですが、帯域幅について触れていることが少ないため、気になって調べてみました。 AWS よくある質問 - Amazon VPC | AWS に書いてあり…

マネージドNATサービス GCP Cloud NAT がリリースされました

先日、GCPでNATインスタンスを構築する記事 を書いたばかりですが、なんとマネージドNATサービス Cloud NATがベータ版でリリースされました。 cloud.google.com リリースされたのでドキュメントを読んで気にあるポイントを整理 & 実際に試してみました。 GCP…

GCPのリソースの上限値(クオータ)に気をつけよう

GCPに限らずAWSなど他のパブリッククラウドにも言えますが、新規アカウント作成時からデフォルトでは作成できるリソース数にかなりの制限がかけられています。これはアクセスキーやトークンなどの認証情報が漏洩した場合少しでも被害を最小限にするなどとい…