セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があり…

Amazon Redshift（以下、Redshift）にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Reds…

昨日の続きです。 blog.jicoman.info 実際に移行してみてつまづいたことや、データ移行時間の短縮について解説します。 前回記事の「最後に」でちょろっと書きましたが、UnloadCopyUtilityを動かすとわかりますが、小さいテーブルの移行でしか考慮されていな…

最近までずっとAWSサービスストレージの暗号化しかやっていなかったのでネタは暗号化一本ですｗ 今回はRedshiftクラスタのストレージ暗号化です。 今回は長いので、準備編と移行編に分けたいと思います。 Redshiftクラスタの暗号化方法 どうやってデータを移…

小ネタです。 Redshift クラスタをリストアしたい要望があったので、専用のIAMロールと権限を付与したのですが、Permission Deniedになってしまったので、原因調査と解決までしたので記事にしました。 やりたかったこと 以下のコマンドでリストアするつもり…

連日 AWS Lambda Based Amazon Redshift Database Loader (以下、Redshift Loader)の内容です。 Redshift LoaderはS3にアップロードされたイベントを検知してAmazon Lambdaが実行されてRedshiftへデータロードされるのですが、1つ気になるのがS3へアップロー…

前回はAWS Lambda Based Amazon Redshift Database Loader(Redshift Loader)の使い方を紹介しました。今回はデータロード時に失敗した時の挙動やリカバリ方法について紹介します。 Redshiftへのデータロード失敗の挙動 試しにRedshiftクラスターをリサイズし…

[toc] アプリケーションログをRedshiftにロードしたいという案件があったので色々調べていたところ、AWS Lambda Based Amazon Redshift Database Loader というのがあったので使ってみました。 AWS Lambda Based Amazon Redshift Database Loader とは (名称…