Google Cloud Platform
はじめに 1. VPC Service Controlsを使う 2. Cloud IAMを検証する 3. 組織・フォルダ・プロジェクトのアクセス制御を検証する Cloud IdentityでGCPの組織をつくる 私の場合の利用例 はじめに 昨年7月にAWS Organizationsのメリットについて記事を書きました…
献本いただいて4周ぐらい読みました。400ページ強あるのでかなり読み応えがあり、ブログにするのが遅くなりました。。。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]posted with AmaQuick at 2021.03.30下田 倫大(著…
本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利…
昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP(GCE インスタンス)だったので Cloud Logging(Stac…
以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP(GCE インスタンス) Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…
過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン(asia-northeast1) Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…
今年の3月に GCE の Machine images(以下、(マシンイメージ)がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…
休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント(Compute Engine default service account)を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…
Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…
一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…
組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…
個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…
本稿は Sansan Advent Calendar 2019 の20日目の記事です。 今年は GCP に触れることが多い一年でした。GCP に触れてきた中で気になるアップデートがあったので紹介をします。 OS Inventory Management とは OS Inventory Management は GCE インスタンスに…
本稿は Google Cloud Platform Advent Calendar 2019 の 17日目の記事です。 tl;dr GCE インスタンスで GPU メトリクスを取りたい! リポジトリ サポートOS メトリクス 使い方 Docker コンテナで動かす GKE クラスタで動かす メトリクス値の移動平均 まとめ …
プリエンプティブインスタンス はAWSのスポットインスタンスと同じように空きリソースを活用して通常のGCEインスタンスより格安で使えるオプションです。コストを最小限に抑えるためにはプリエンプティブインスタンスの有効活用が欠かせませんが、制約として…
小ネタ系です。 GCS バケットがある GCP プロジェクトとは別の GCP プロジェクトから GCS オブジェクト(ファイル)を取得したい場合があったりします。AWS だとクロスアカウントを連携するために IAM ロール作って AssumeRole するとか面倒ですが、GCP だと…
本日、New pricing for external IPs for Google Compute Engine VMs and Cloud NAT from January 1, 2020 という件名のメールがきていました。 内容を要約すると、 2020年1月から料金体系が変わって自動適用されるよ GCE の外部IPアドレスが無料だったけど…
今年も Google Cloud Next Tokyo 2019 に参加してきました。 2日間とも参加したかったのですが、業務都合があり1日目のみの参加です。 セッションの感想などは会社ブログに譲るとして、本記事は写真から Cloud Next を振り返りたいと思います。 会場について…
今日も小ネタです。 GCE インスタンスを OS 別に集計する必要があるとします。無い人もいるかもしれないですが、あるとします*1 。 Amazon EC2であれば aws ec2 describe-instances コマンドの --filters オプションに platform があるので、Windowsホストの…
小ネタです。 特定の GCP プロジェクトにある Google Container Registry (GCR) リポジトリ一覧を取得しようと、gcloud container images list コマンドを実行したのですが、 Listed 0 items. となってしまいました。 $ gcloud container images list Listed…
Spinnakerで Bake ステージと呼ばれる、デプロイするためのマシンイメージを作成する工程をパイプライン上に作成することができます。AWS では AMI, GCP では VM イメージ が該当します。 Spinnaker では Hashicorp 社の Pakcer というツールを使ってマシン…
GCPのデプロイツールとして Spinnaker を検討しています。本記事GCEインスタンスに Spinnaker をインストールしたときのメモを共有します。 なお、 Spinnaker とは?他のCI/CDツールとどう違うの?とかは他の記事に譲ります。 GCPサービスアカウントの作成 s…
GCPのCloud FunctionsはHTTPリクエスト、Cloud Pub/Sub、Firebase、GCS *1 をトリガーに呼び出すことができる、イベント駆動型のサーバレスサービスです。よくある例として、Cloud Storage(GCS)にファイルを置いた場合にCloud Functionsを実行して何かしらの…
コンテナが流行っているこのご時世、GCEでかつWindowsマシンというマイナーな話題ですが、現行システムで動かしている以上、色々調べなければならないこともあるわけでして。 最近躓いているのが、Windows VMマシンで起動および停止スクリプトが、GCEの起動…
昨年のアップデートになりますが、Cloud Storage(GCS) の Bucket Lock 機能がGAとしてリリースされました。 cloud.google.com Bucket Lock 機能によって、特定のGCSバケットに格納されたファイル(オブジェクト)は指定した期間は変更および削除ができなくなり…
本記事は Google Cloud Platform その1 Advent Calendar 2018 - Qiita の4日目の記事です。 GCPといえば、BigQueryとかSpannerとかGKEとかの話が多いですが、ネットワーク関連のアップデートもしばしばあります。 少々前になりますが、GCPサービスの Cloud…
なんとこの記事でブログ200記事目です!2012年5月から始めたので約6年半での到達はペースとしてはかなり遅いですが、今後はガンガン書いていきます! 今回はTerraform + GCPネタです。 Auto Scaling on GCEをTerraformで書いていて、インスタンステンプレー…
GCE on Windowsを扱っています。Linuxと比較すると注意すべき点がいくつかありますが、そのうちの一つが起動スクリプトがあります。 なかなか情報が出回っていなかったので色々試してみて得たTipsを書き連ねたいと思います。 スタートアップスクリプトのメタ…
AWS re:Inventが始まっている最中ですが、GCPハンズオンセミナーに行ってきました。 セミナー概要↓ cloudplatformonline.com 参加動機 なにをやったのか BigQueryの基本 Datalab DataStudio Dataprep BigQuery ML 余力がある人向けコンテンツ Cloud Pub/Sub …
GCEインスタンスの永続化ディスク *1 はオンラインで拡張ができますが縮小ができません。 AWSのEBSボリュームも同様に縮小ができませんが、歴史が長いので色んな記事がヒットします。大抵はデータコピーするか、AMIから復元するかで縮小が可能です。 しかし…