データ分析基盤構築の肝は、データレイクとDWHの分離

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイ…

AWSのグローバルIPの空間はインターネットなのか?

こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これ…

AWS OrganizationsとSavings Plansを活用したコスト削減のベストプラクティス

こんにちは佐々木です。 AWSを利用していると気になるのが、AWSの利用料です。個々のサービス・リソースは機能に比べて充分に安いものの、利用しているうちにそれなりの金額に積み上がってくることが多いです。その対策として、AWSにはさまざまなコスト削減…

CloudTrailの履歴からIAMポリシーを作成するシンプルだが有用な機能がリリース!!

こんにちは佐々木です。 シンプルだが有用なサービスがリリースされました。CloudTrailとIAM Access Analyzerのあわせ技で、AWSの実際の利用履歴を元にIAMポリシーを生成する機能がリリースされました。これ機能のアプローチとしてとても良いので、IAMに一家…

初めてのAWSはいつですか? 『Welcome to Amazon Web Services』で検索

こんにちは佐々木です。 ちょっと前に、自分のメールボックスを「Welcome to Amazon Web Services」で検索するのが流行っていました。これで検索すると、一番最初にAWSを使いだした時期が解るのです。初々しい頃を思い出すのはいいですよね。 自分のプライベ…

データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について

データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract(抽出)・Transform(変換・加工)・Load(保管)の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が…

【小ネタ】S3の署名付きURLとアクセスキーの関係について

AWS

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今日は昔からあるものの、知名度が殆どないS3の署名付きURL(S3 Presigned URL)の仕組みの紹介を行います。また、Presigned…

1アカウントでAWSを利用している場合のAWS Organizations化について

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今回のテーマはAWS Organizationsです。AWS Organizationsには様々な機能があるので、ここではAWS Organizationsの概要と、…

AWS SSOの利用と権限セットの設計の考え方

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今日は、みんな気になるけど、なかなか手が出しにくいAWS SSOについて解説します。一口にSSOと言っても多岐に渡るので、SSO…