こんにちは、デジタルマーケティング事業に携わっている神崎です。
本記事では、Google Cloud の BigQuery で、Data Engineering Agent とともに BigQuery パイプラインを作成する方法について紹介します。
本記事の目次は、下記のとおりです。
はじめに
Data Engineering Agent は、「データ エージェント ファミリー」と呼ばれる Google Cloud の AI エージェント群のうちのひとつで、データの ETL にかかわるタスクを支援します。
※出典：生成 AI が拓くデータ活用の新境地：Google Cloud の「データ エージェント」とは？
https://www.youtube.com/watch?v=YGZozq561iI
デジタルマーケティング、とりわけデータ活用の文脈では、以下の赤枠内を支援する AI エージェントとなっています。
本記事執筆時点においては、以下の機能が利用可能です。
- BigQuery data preparation（データの準備）：BigQuery テーブルのカラムの内容（型など）を、自然言語で指示した内容に変換する
- BigQuery pipelines（パイプラインの作成）：BigQuery 上にあるデータの処理を行うパイプラインを、自然言語により作成する
※本記事執筆時点において、本機能はプレビュー版で一般公開されていますが、機能は必ずしも完全ではなく、SLA やテクニカルサポートの確約はありません。
以下は「BigQuery data preparation（データの準備）」機能の活用例です。
「is_active_user」 というカラムの型を BOOLEAN 型から INTEGER 型に変換しています。
BigQuery パイプラインは、GUI でクエリ（SQL）の実行順序等を定義して、当該処理を定期実行できる機能です。
複数のクエリ（SQL）間に依存関係がある場合に、非常に有用です。
BigQuery パイプラインの詳細については、以下のページを参照してください。
BigQuery パイプラインを作成する
それでは、以下の記事の異常検出モデルの更新を例として、Data Engineering Agent とともに BigQuery パイプラインを作成していきます。
BigQuery の「スタジオ」画面より「▼＞パイプライン」を選択します。
パイプラインの作成に使用するアカウントを選択し、「開始」を押下します。
「エージェント チャットを開始」アイコンを押下します。
「Ask agent」箇所にプロンプト（作成したいパイプラインの内容を記したもの）を入力し、送信します。
クエリの提供を求められるので、入力の上再送します。
なお、クエリの作成も AI エージェントに任せることも可能ですが、意図した内容のクエリを正確に作成させるためには、プロンプトの作りこみが必要になります。
しばらく待つと、パイプラインが作成されました。中身を確認し、問題なければ「Apply」を押下します。
以上で、パイプラインの作成は完了です。
なお、認証情報や処理を行うロケーションの設定は、「設定」タブから変更できます。
また、「スケジュール」よりパイプラインの実行スケジュールを設定できます。
これにより、パイプラインの定期実行が可能となります。
おわりに
本記事では、Data Engineering Agent とともに BigQuery パイプラインを作成する際の概要を紹介しました。
詳細な機能やベストプラクティスなどについては、以下のページを参考にしてください。
また、Google Cloud の「データ エージェント ファミリー」については、以下の記事もご参照ください。
| AI エージェント | 記事 |
|---|---|
| Conversational Analytics Agent | BigQuery の会話分析機能を活用する - NRIネットコムBlog |
| Data Governance Agent | BigQuery テーブルやカラムの説明（メタデータ）を自動生成する - NRIネットコムBlog |
| Data Science Agent | Google アナリティクスのデータの異常を BigQuery ML で検出してみた - NRIネットコムBlog |
AI エージェントの登場で、以前より容易に、かつコストをかけずにデータを活用できる土壌ができました。 今こそ、収集した Google アナリティクスなどのデータから価値を引き出していきましょう！
