データ分析

GUIによるデータの加工処理(データプレパレーション)とデータの連携について

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第六弾です。前回に引き続き、データ加工をテーマにします。今回は、GUIによるデータ加工処理についてです。将来的には、GUIが活躍する領域がもっと広がってくると予想していますが、その…

データの民主化とELT(Extract/Load/Transform)

こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL(Extract/Transform/Load)の誤字でしょと言…

データ分析基盤における個人情報の扱いについて

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報&パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって…

データレイクはRAWデータレイク・中間データレイク・構造化データレイクの3層構造にすると良い

こんにちは佐々木です。 前回、データレイクとDWHを分離せよという趣旨の記事を書いていました。今回は、その続きとして、データレイクをRAWデータレイク・中間データレイク・構造化データレイクの3層構造がお勧めですよというお話をします。何の事でしょう…

データ分析基盤構築の肝は、データレイクとDWHの分離

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイ…

データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について

データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract(抽出)・Transform(変換・加工)・Load(保管)の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が…

AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)の学習方法

小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)」に特化した形で紹介するものです。 …