【Webinar資料公開】AWSで作るデータ分析基盤サービスの選定と設計のポイント

こんにちは佐々木です。 もの凄く遅くなりましたが、2021年3月18日に実施したデータ活用に関するウェビナーの資料と動画の一部の公開です。 講演資料&講演動画 当日は、AWSの大場さんより『AWS Analytics サービスのご紹介』と、NRIネットコムの分析・マー…

私とAWSの15年 あるいはThe Bezos Mandateの話

こんにちは佐々木です。 本日よりNRIネットコムのメンバーによるイベント、「APN AWS Top Engineers/APN Ambassadors Week」を開催します!!!一番手を担当することになったので、昔を振り返りながらAWSについて考えてみます。 最初のAWSはいつだったのか?…

GUIによるデータの加工処理(データプレパレーション)とデータの連携について

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第六弾です。前回に引き続き、データ加工をテーマにします。今回は、GUIによるデータ加工処理についてです。将来的には、GUIが活躍する領域がもっと広がってくると予想していますが、その…

データの民主化とELT(Extract/Load/Transform)

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL(Extract/Transform/Load)の誤字でしょと言…

データ分析基盤における個人情報の扱いについて

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報&パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって…

データレイクはRAWデータレイク・中間データレイク・構造化データレイクの3層構造にすると良い

こんにちは佐々木です。 前回、データレイクとDWHを分離せよという趣旨の記事を書いていました。今回は、その続きとして、データレイクをRAWデータレイク・中間データレイク・構造化データレイクの3層構造がお勧めですよというお話をします。何の事でしょう…

データ分析基盤構築の肝は、データレイクとDWHの分離

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイ…

AWSのグローバルIPの空間はインターネットなのか?

こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これ…

AWS OrganizationsとSavings Plansを活用したコスト削減のベストプラクティス

こんにちは佐々木です。 AWSを利用していると気になるのが、AWSの利用料です。個々のサービス・リソースは機能に比べて充分に安いものの、利用しているうちにそれなりの金額に積み上がってくることが多いです。その対策として、AWSにはさまざまなコスト削減…

CloudTrailの履歴からIAMポリシーを作成するシンプルだが有用な機能がリリース!!

こんにちは佐々木です。 シンプルだが有用なサービスがリリースされました。CloudTrailとIAM Access Analyzerのあわせ技で、AWSの実際の利用履歴を元にIAMポリシーを生成する機能がリリースされました。これ機能のアプローチとしてとても良いので、IAMに一家…

初めてのAWSはいつですか? 『Welcome to Amazon Web Services』で検索

こんにちは佐々木です。 ちょっと前に、自分のメールボックスを「Welcome to Amazon Web Services」で検索するのが流行っていました。これで検索すると、一番最初にAWSを使いだした時期が解るのです。初々しい頃を思い出すのはいいですよね。 自分のプライベ…

データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について

データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract(抽出)・Transform(変換・加工)・Load(保管)の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が…

【小ネタ】S3の署名付きURLとアクセスキーの関係について

AWS

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今日は昔からあるものの、知名度が殆どないS3の署名付きURL(S3 Presigned URL)の仕組みの紹介を行います。また、Presigned…

1アカウントでAWSを利用している場合のAWS Organizations化について

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今回のテーマはAWS Organizationsです。AWS Organizationsには様々な機能があるので、ここではAWS Organizationsの概要と、…

AWS SSOの利用と権限セットの設計の考え方

こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症の佐々木です。 今日は、みんな気になるけど、なかなか手が出しにくいAWS SSOについて解説します。一口にSSOと言っても多岐に渡るので、SSO…