本日も乙

ただの自己満足な備忘録。

Google Cloud Platform

Cloud IdentityでGCPの組織を作成する

はじめに 1. VPC Service Controlsを使う 2. Cloud IAMを検証する 3. 組織・フォルダ・プロジェクトのアクセス制御を検証する Cloud IdentityでGCPの組織をつくる 私の場合の利用例 はじめに 昨年7月にAWS Organizationsのメリットについて記事を書きました…

GCPで実践的なデータ分析基盤をはじめるのに最適な「Google Cloudではじめる実践データエンジニアリング入門」を読んだ

献本いただいて4周ぐらい読みました。400ページ強あるのでかなり読み応えがあり、ブログにするのが遅くなりました。。。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]posted with AmaQuick at 2021.03.30下田 倫大(著…

GCP HTTPS ロードバランサ用のセルフマネージド SSL 証明書の更新方法

本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利…

syslogに出力したBashコマンドをCloud Loggingに転送する

昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP(GCE インスタンス)だったので Cloud Logging(Stac…

Ubuntu 20.04 LTSでsyslogに出力するBashのdebパッケージを作成する

以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP(GCE インスタンス) Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…

PrometheusでWindows ServerのIISメトリクスを取得する

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

GCEのMachine images(マシンイメージ)を使ってみた

今年の3月に GCE の Machine images(以下、(マシンイメージ)がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…

GCEインスタンスとGKEノードのスコープをcloud-platformにすべき

休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント(Compute Engine default service account)を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

機械学習初心者の私がML Study Jams Vol.4に参加してきました

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

Web Risk API で危険な URL から守る

個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…

【GCP】OS Inventory Management でパッケージ一覧を取得する

本稿は Sansan Advent Calendar 2019 の20日目の記事です。 今年は GCP に触れることが多い一年でした。GCP に触れてきた中で気になるアップデートがあったので紹介をします。 OS Inventory Management とは OS Inventory Management は GCE インスタンスに…

GCE インスタンス・GKE ノードの GPU メトリクスを Stackdriver に投げるツールを作った

本稿は Google Cloud Platform Advent Calendar 2019 の 17日目の記事です。 tl;dr GCE インスタンスで GPU メトリクスを取りたい! リポジトリ サポートOS メトリクス 使い方 Docker コンテナで動かす GKE クラスタで動かす メトリクス値の移動平均 まとめ …

GCE プリエンプティブインスタンスを安全に停止する

プリエンプティブインスタンス はAWSのスポットインスタンスと同じように空きリソースを活用して通常のGCEインスタンスより格安で使えるオプションです。コストを最小限に抑えるためにはプリエンプティブインスタンスの有効活用が欠かせませんが、制約として…

他 GCP プロジェクトの GCS バケットにアクセスする

小ネタ系です。 GCS バケットがある GCP プロジェクトとは別の GCP プロジェクトから GCS オブジェクト(ファイル)を取得したい場合があったりします。AWS だとクロスアカウントを連携するために IAM ロール作って AssumeRole するとか面倒ですが、GCP だと…

2020年1月から GCE の外部 IP アドレスと NAT ゲートウェイの料金体系が変わる

本日、New pricing for external IPs for Google Compute Engine VMs and Cloud NAT from January 1, 2020 という件名のメールがきていました。 内容を要約すると、 2020年1月から料金体系が変わって自動適用されるよ GCE の外部IPアドレスが無料だったけど…

Google Cloud Next Tokyo 2019 に行ってきた

今年も Google Cloud Next Tokyo 2019 に参加してきました。 2日間とも参加したかったのですが、業務都合があり1日目のみの参加です。 セッションの感想などは会社ブログに譲るとして、本記事は写真から Cloud Next を振り返りたいと思います。 会場について…

gcloud コマンドで GCE インスタンスを OS 別にフィルタする

今日も小ネタです。 GCE インスタンスを OS 別に集計する必要があるとします。無い人もいるかもしれないですが、あるとします*1 。 Amazon EC2であれば aws ec2 describe-instances コマンドの --filters オプションに platform があるので、Windowsホストの…

Google Container Registry (GCR) のリポジトリ一覧を一発で取得する

小ネタです。 特定の GCP プロジェクトにある Google Container Registry (GCR) リポジトリ一覧を取得しようと、gcloud container images list コマンドを実行したのですが、 Listed 0 items. となってしまいました。 $ gcloud container images list Listed…

Spinnakerで Bake ステージを作成する

Spinnakerで Bake ステージと呼ばれる、デプロイするためのマシンイメージを作成する工程をパイプライン上に作成することができます。AWS では AMI, GCP では VM イメージ が該当します。 Spinnaker では Hashicorp 社の Pakcer というツールを使ってマシン…

GCE に Spinnaker をインストールする

GCPのデプロイツールとして Spinnaker を検討しています。本記事GCEインスタンスに Spinnaker をインストールしたときのメモを共有します。 なお、 Spinnaker とは?他のCI/CDツールとどう違うの?とかは他の記事に譲ります。 GCPサービスアカウントの作成 s…

Stackdriver Logging, Cloud Pub/Sub, Cloud Functionsで特定のイベント時にSlack通知する

GCPのCloud FunctionsはHTTPリクエスト、Cloud Pub/Sub、Firebase、GCS *1 をトリガーに呼び出すことができる、イベント駆動型のサーバレスサービスです。よくある例として、Cloud Storage(GCS)にファイルを置いた場合にCloud Functionsを実行して何かしらの…

Windows on GCEにおける起動/停止スクリプトの実行方法についての調査

コンテナが流行っているこのご時世、GCEでかつWindowsマシンというマイナーな話題ですが、現行システムで動かしている以上、色々調べなければならないこともあるわけでして。 最近躓いているのが、Windows VMマシンで起動および停止スクリプトが、GCEの起動…

Cloud Storage(GCS)のバケットロックによるファイル保持で変更・削除から守る

昨年のアップデートになりますが、Cloud Storage(GCS) の Bucket Lock 機能がGAとしてリリースされました。 cloud.google.com Bucket Lock 機能によって、特定のGCSバケットに格納されたファイル(オブジェクト)は指定した期間は変更および削除ができなくなり…

Cloud DNSのプライベートDNSゾーンがリリースされたので試してみた

本記事は Google Cloud Platform その1 Advent Calendar 2018 - Qiita の4日目の記事です。 GCPといえば、BigQueryとかSpannerとかGKEとかの話が多いですが、ネットワーク関連のアップデートもしばしばあります。 少々前になりますが、GCPサービスの Cloud…

【Terraform】GCPインスタンステンプレートを変更するときに削除エラーが起きたときの解決方法

なんとこの記事でブログ200記事目です!2012年5月から始めたので約6年半での到達はペースとしてはかなり遅いですが、今後はガンガン書いていきます! 今回はTerraform + GCPネタです。 Auto Scaling on GCEをTerraformで書いていて、インスタンステンプレー…

Windows on GCEにおける起動スクリプト Tips

GCE on Windowsを扱っています。Linuxと比較すると注意すべき点がいくつかありますが、そのうちの一つが起動スクリプトがあります。 なかなか情報が出回っていなかったので色々試してみて得たTipsを書き連ねたいと思います。 スタートアップスクリプトのメタ…

Google Cloud Platform ハンズオンセミナー 〜はじめてみようデータサービス編〜 に行ってきました

AWS re:Inventが始まっている最中ですが、GCPハンズオンセミナーに行ってきました。 セミナー概要↓ cloudplatformonline.com 参加動機 なにをやったのか BigQueryの基本 Datalab DataStudio Dataprep BigQuery ML 余力がある人向けコンテンツ Cloud Pub/Sub …

GCEインスタンスの永続ディスクの容量を縮小する

GCEインスタンスの永続化ディスク *1 はオンラインで拡張ができますが縮小ができません。 AWSのEBSボリュームも同様に縮小ができませんが、歴史が長いので色んな記事がヒットします。大抵はデータコピーするか、AMIから復元するかで縮小が可能です。 しかし…