Zennで記事を書きました。 zenn.dev

Zennで記事を書きました。 Cloud ComposerのプライベートIP環境についてドキュメントが複雑で事例が少ないので調べるのに苦労しました。Terraformコード付きです。 Cloud Composer移行は別で書きたいと思います。 zenn.dev

Zennでブログ書きました。 zenn.dev

いよいよ技術書典13が始まりますね！ 以前の記事でも軽く告知していましたが、この度、脱稿&審査が通過しまして、「はじめてのBigQuery データ基盤・データ分析の第一歩」という技術同人誌を頒布します！ techbookfest.org 私個人のサークル活動としては、第…

2022/09/10 訂正 以下の記事で正式告知させていただきました。 blog.jicoman.info 先週は夏季休暇をいただいていましたが、技術書典13に向けた新刊の執筆で終わってしまいました・・・。今までサボっていた自分が悪いのですが。まだまだ執筆が終わっていませ…

はじめに 1. VPC Service Controlsを使う 2. Cloud IAMを検証する 3. 組織・フォルダ・プロジェクトのアクセス制御を検証する Cloud IdentityでGCPの組織をつくる 私の場合の利用例 はじめに 昨年7月にAWS Organizationsのメリットについて記事を書きました…

1週間以上前のイベントなのでブログに書くのが今更感ありますが参加してきました。久しぶりに社外でLT参加してかも。 https://datatech-jp.connpass.com/event/236698/datatech-jp.connpass.com datatech-jpというデータエンジニアリング、データ活用に関す…

献本いただいて4周ぐらい読みました。400ページ強あるのでかなり読み応えがあり、ブログにするのが遅くなりました。。。 Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]posted with AmaQuick at 2021.03.30下田 倫大(著…

本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利…

昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP（GCE インスタンス）だったので Cloud Logging（Stac…

以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP（GCE インスタンス） Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらか…

過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン（asia-northeast1） Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server…

今年の3月に GCE の Machine images（以下、（マシンイメージ）がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメイ…

休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント（Compute Engine default service account）を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべ…

Amazon Redshift（以下、Redshift）にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかっ…

組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが…

個人で Web サービスを開発するときに、Web 上にある情報を取得するためにクローラを実装された方もいるかもしれません。昨今、本や Web サイトでクローラやスクレイピングに関する情報が多く出回っているので、実装は難しくないと思います。 しかし、クロー…

先日 GCPUG Tokyo December 2019 に参加してきました。 会場は株式会社ディー・エヌ・エーでした。実はヒカリエに入ったのが初めてで*1買い物客と一緒にエスカレーター乗っていると朝の通勤時に混雑で大変そうだなと思ってしまいます。 オフィスはめっちゃ広…

本稿は Sansan Advent Calendar 2019 の20日目の記事です。 今年は GCP に触れることが多い一年でした。GCP に触れてきた中で気になるアップデートがあったので紹介をします。 OS Inventory Management とは OS Inventory Management は GCE インスタンスに…

本稿は Google Cloud Platform Advent Calendar 2019 の 17日目の記事です。 tl;dr GCE インスタンスで GPU メトリクスを取りたい！ リポジトリ サポートOS メトリクス 使い方 Docker コンテナで動かす GKE クラスタで動かす メトリクス値の移動平均 まとめ …

プリエンプティブインスタンス はAWSのスポットインスタンスと同じように空きリソースを活用して通常のGCEインスタンスより格安で使えるオプションです。コストを最小限に抑えるためにはプリエンプティブインスタンスの有効活用が欠かせませんが、制約として…

小ネタ系です。 GCS バケットがある GCP プロジェクトとは別の GCP プロジェクトから GCS オブジェクト（ファイル）を取得したい場合があったりします。AWS だとクロスアカウントを連携するために IAM ロール作って AssumeRole するとか面倒ですが、GCP だと…

本日、New pricing for external IPs for Google Compute Engine VMs and Cloud NAT from January 1, 2020 という件名のメールがきていました。 内容を要約すると、 2020年1月から料金体系が変わって自動適用されるよ GCE の外部IPアドレスが無料だったけど…

今年も Google Cloud Next Tokyo 2019 に参加してきました。 2日間とも参加したかったのですが、業務都合があり1日目のみの参加です。 セッションの感想などは会社ブログに譲るとして、本記事は写真から Cloud Next を振り返りたいと思います。 会場について…

今日も小ネタです。 GCE インスタンスを OS 別に集計する必要があるとします。無い人もいるかもしれないですが、あるとします*1 。 Amazon EC2であれば aws ec2 describe-instances コマンドの --filters オプションに platform があるので、Windowsホストの…

小ネタです。 特定の GCP プロジェクトにある Google Container Registry (GCR) リポジトリ一覧を取得しようと、gcloud container images list コマンドを実行したのですが、 Listed 0 items. となってしまいました。 $ gcloud container images list Listed…

久しぶりの Spinnaker ネタです。 Spinnaker をインストールして、ブラウザから GUI を見るとき、以下のようにポートフォワードしていたかと思います。 $ gcloud compute ssh dev-spinnaker -- -L 9000:localhost:9000 -L 8084:localhost:8084 外部から見れ…

Spinnakerで Bake ステージと呼ばれる、デプロイするためのマシンイメージを作成する工程をパイプライン上に作成することができます。AWS では AMI, GCP では VM イメージ が該当します。 Spinnaker では Hashicorp 社の Pakcer というツールを使ってマシン…

GCPのデプロイツールとして Spinnaker を検討しています。本記事GCEインスタンスに Spinnaker をインストールしたときのメモを共有します。 なお、 Spinnaker とは？他のCI/CDツールとどう違うの？とかは他の記事に譲ります。 GCPサービスアカウントの作成 s…