本日も乙

ただの自己満足な備忘録。

Redshift

AWS主要サービスのストレージ暗号化についてのまとめ

セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する

Amazon Redshift(以下、Redshift)にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

Redshiftクラスタの暗号化をやってみた 〜移行編〜

昨日の続きです。 blog.jicoman.info 実際に移行してみてつまづいたことや、データ移行時間の短縮について解説します。 前回記事の「最後に」でちょろっと書きましたが、UnloadCopyUtilityを動かすとわかりますが、小さいテーブルの移行でしか考慮されていな…

Redshiftクラスタの暗号化をやってみた 〜準備編〜

最近までずっとAWSサービスストレージの暗号化しかやっていなかったのでネタは暗号化一本ですw 今回はRedshiftクラスタのストレージ暗号化です。 今回は長いので、準備編と移行編に分けたいと思います。 Redshiftクラスタの暗号化方法 どうやってデータを移…

Amazon Redshift クラスタをリストアするときのIAM権限について注意が必要

小ネタです。 Redshift クラスタをリストアしたい要望があったので、専用のIAMロールと権限を付与したのですが、Permission Deniedになってしまったので、原因調査と解決までしたので記事にしました。 やりたかったこと 以下のコマンドでリストアするつもり…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(3) 〜ファイルサイズの上限〜

連日 AWS Lambda Based Amazon Redshift Database Loader (以下、Redshift Loader)の内容です。 Redshift LoaderはS3にアップロードされたイベントを検知してAmazon Lambdaが実行されてRedshiftへデータロードされるのですが、1つ気になるのがS3へアップロー…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(2) 〜失敗したバッチの再実行〜

前回はAWS Lambda Based Amazon Redshift Database Loader(Redshift Loader)の使い方を紹介しました。今回はデータロード時に失敗した時の挙動やリカバリ方法について紹介します。 Redshiftへのデータロード失敗の挙動 試しにRedshiftクラスターをリサイズし…

AWS Lambda Based Amazon Redshift Database Loader を使ってみた(1)

[toc] アプリケーションログをRedshiftにロードしたいという案件があったので色々調べていたところ、AWS Lambda Based Amazon Redshift Database Loader というのがあったので使ってみました。 AWS Lambda Based Amazon Redshift Database Loader とは (名称…