本記事は Google Cloudウィーク 5日目の記事です。
💻☁ 4日目 ▶▶ 本記事 ▶▶ 6日目 ☁💻

最近、1歳の娘が床に落ちているゴミに最速で飛びつき食べてしまうという事象が発生しているので、ロボット掃除機導入を検討したところ「娘の方がル○バより優秀じゃない？」という妻の一言で導入は見送ることになりました。
どうも、ozawaです。
今回はGoogle Cloudウィークということで、8月初に開催されたGoogle Cloud Next Tokyo'24 参加の際に挑戦してみたことについてまとめました。

やりたいこと

今年8月に横浜で開催されたGoogle Cloud Next Tokyo '24 。今回こちらの参加を決めた際に本ブログの執筆も決まっていました。なので、「どうせならVertex AI使ってなんかしたい」と考えまして、色々考えた結果、「基調公演の内容をVertex AIで要約しよう」と思いました。技術カンファレンスではよくある基調公演、参加する際に毎回メモを取ろうと思うのですが、タイピングが追いつかなかったりところどころメモが欠けていたり、そもそも話を聞きそびれたりしていたのでなんとかしたいなーと思っていました。

Google Cloud Next Tokyo'24 基調公演

基調公演のアーカイブ動画はこちらで公開されています。

cloudonair.withgoogle.com

Vertex AI Studio

Vertex AIはGoogle CloudにおいてさまざまなAIソリューションを提供するサービスです。その中で、Vertex AI StudioはGUI上で生成AIソリューションを操作することができ、テキストのみならず画像や音声ファイルなどマルチモーダルで利用できるサービスです。
今回はこちらのFreeForm（自由形式）をつかって、プロンプトによって要約した内容をテキスト出力してもらおうと思います。

実際にやってみた

まず新規でプロンプトを作成します

Google Cloudコンソールで Vertex AI -> Vertex AI Studio -> 自由形式を選択

色々設定できそうですが、ざっくり下記の感じで設定していきます。

リージョンを決める
モデルを決める
役割を与える
メディアを指定する
プロンプトを入力する

リージョンを決める

処理を実行するリージョンを決めます。今回は asia-northeast-1 を選択します。

ちなみにリージョンごとによる違いについては、利用できるサービスに細かな違いがあるという点に加えて、大きな違いとしては利用できるGPUが異なるようです。

Vertex AI のロケーション | Google Cloud

用途によってはこの辺りも気にしておいた方が良いかもしれません。

モデルを決める

Vertex AI Studioで利用できる代表的なモデルは下記です。

Gemini
PaLM 2
Codey

ちなみに、リージョンごとで利用できるモデルに大きな違いはなく、サービスが提供されるリージョンでは基本的に上記のモデルを利用可能になっているようでした。

今回はGeminiを使ってみます。

Geiminiの中でもいくつかの種類があります。

gemini-flash-experimental（ベータ版）
gemini-pro-experimental（ベータ版）
- 上記は2024/8/27に追加されていました。Gemini Experimentalの最新版のようです
gemini-1.5-flash-001
gemini-1.5-pro-001
- 現状のGemini最新版です。flashの方が高速で安価、proは汎用性と品質に優れたモデルです
Gemini Experimental（ベータ版）
- 大規模な入力トークンを品質高く処理できるモデルのようです
gemini-1.0-pro-002
gemini-1.0-pro-001
gemini-1.0-pro-vison-001

今回は gemini-1.5-pro-001 を使ってみることにします。

役割を与える

プロンプトを作成する際に、モデルに対してシステム指示を出すことができます。

システム指示を使用する | Vertex AI の生成 AI | Google Cloud

今回は以下のように指示してみました。

あなたはブログの編集者です
正確で丁寧な文章作成が求められます

ブログに要約内容を載せるにあたって、わかりやすく出力して欲しいなーと思い、こういう指示にしてみました。

メディアを指定する

「メディアを挿入」を選択すると、さまざまな形式で入力できる項目が出てきます。

プロンプトを入力する

下記で入力してみました。

これはGoogle Cloud Next Tokyo'24 Day1 基調公演のデータです。
下記のフォーマットに倣った上で、後述する要件に従ってこちらを要約してください

----------------------------------

- - 登壇者（所属）
- - 登壇概要
- -- 登壇詳細
- ----------------------------------

要件
・登壇者は9名います。それぞれの登壇者ごとに上記のフォーマットで要約してください
・1人の登壇者が複数回登壇していますが、これも含めて一つのフォーマットにまとめてください
・英語圏の方の登壇者名についてはなるべく英語表記でお願いします
・英語の登壇内容については日本語に翻訳してください
・登壇概要は、登壇者の発表内容をもとに20文字程度でわかりやすいタイトルをつけてください
・登壇詳細は200文字程度で要約してください

要約内容を見てみる

出力はこんな感じです。

## Google Cloud Next Tokyo'24 Day1 基調公演 要約

### - 平手智行（Google Cloud 日本代表）

- **登壇概要： Google Cloud Next Tokyo'24 開催のご挨拶** 
    -  Google Cloud Next Tokyo'24 に参加した皆様への感謝を述べ、イベントの概要とスポンサー企業への謝辞を述べています。デジタル変革を加速させるために、Google Cloudは、生成AIを駆使し、パートナー企業と共に邁進していくことを表明しています。

### - Sesh Adhuruthy（Google DeepMind シニアディレクター）

- **登壇概要： Google DeepMindの歩みと生成AIの可能性** 
    - 2013年に Google が DeepMind を買収した経緯に触れ、当時の AI エージェントのデモンストレーションの様子を振り返り、AI の進化の可能性に期待を寄せていたことを語っています。その後、AlphaGo や AlphaFold といった画期的な成果を挙げ、2023 年には Google Brain と統合し、Google DeepMind として、責任ある AI 開発に取り組んでいることを説明しました。そして、マルチモーダルな最新基盤モデルである Gemini を紹介し、その革新的な技術が、あらゆる人にアクセス可能な形で提供されることを強調しました。

### - Arwan Manir（Google Cloud プロダクトマネジメント ディレクター）

- **登壇概要： Google Cloud でビジネス価値を生み出す生成AI** 
    - Google Cloud は、生成 AI を活用してビジネス価値を生み出すための戦略として、ユーザーと開発者の両方に対応した製品ポートフォリオを提供していくことを説明しました。ビジネスユーザー向けには、カスタマーエクスペリエンス向上と従業員生産性向上のための事前構築済み AI アプリケーションとして、コンタクトセンターAI を紹介しました。開発者向けには、独自の AI アプリケーションを構築・運用するための統合プラットフォームである Vertex AI を紹介し、その詳細を説明しました。

### - 宮澤弦（LINE株式会社 生成AI推進本部 責任者）

- **登壇概要：LINEにおける生成AI活用事例** 
    - LINE株式会社における生成AI推進本部のミッションは、社内業務改善だけでなく、自社サービスの品質改善とユーザーエクスペリエンス向上を図ることであると説明しました。また、生成AI活用のための技術基盤や利用環境を整え、個人向けサービスを中心に、24件もの生成AI機能を導入・活用していることを具体的な事例とともに紹介しました。さらに、生成AIの活用においては、情報ソースの明示など、情報 の正確性を担保することが重要であるとし、Google Cloudの技術を活用している理由を説明しました。

### - Leo（Google）

- **登壇概要： Gemini 1.5 Pro搭載サイドパネルによる業務効率化** 
    - Gemini 1.5 Proを搭載したサイドパネルが、どのように業務フローを変革するのか、デモを通じて紹介しました。スーパーマーケットのエリアマネージャーを想定し、大量のメールの中から優先度の高いものを探し出す業務や、売上データ分析、レポート作成といった業務を、Gemini アプリと Google Workspace の拡張機能を使って効率的に行う様子を実演しました。

### - Yuki（Google）

- **登壇概要： カスタマーエージェントによる購買体験の進化** 
    - Vertex AI Agent Builder では、チャット形式で顧客と接客できるカスタマーエージェントを構築できると説明し、ECサイトにカスタマーエージェントを導入することで、どのような購買体験を提供できるのかを紹介しました。顧客が入力した情報や動画から、欲しい商品を特定し、商品データと連携して、商品の詳細情報や顧客からの評価、コーディネート提案などを行います。さらに、過去の購買履歴や閲覧履歴に基づいて、顧客一人ひとりに最適な商品を提案することで、購買体験の向上につなげることができると説明しました。

### - Christina（Google Workspace プロダクト責任者）

- **登壇概要： Google Workspace における生成AIの最新情報** 
    - Google Workspace における生成AIの最新情報を紹介しました。生成AIは、退屈で反復的なタスクを自動化し、従業員の生産性と仕事の質を向上させることができると説明し、Google Workspace への導入以降、100万人以上のユーザーと数万の企業が使い始めていることを報告しました。また、スタンドアロンのチャット体験である Gemini app や、Workspace アプリで Gemini を活用できるサイドパネル、特定の機能向けにカスタマイズ可能なチャットボットである Gems を紹介し、Google Meet や Google Chat の新機能についても説明しました。そして、これらの機能は、Google が 20 年以上にわたり注力してきたセキュリティとプライバシーを重視して開発されており、企業が安心して利用できるものであることを強調しました。

### - 萩野　貞則（星野リゾート 代表）

- **登壇概要： 星野リゾートにおけるDXと生成AIへの期待** 
    - 星野リゾートが DX（デジタルトランスフォーメーション）にいち早く取り組んできた背景や、DX 推進によって会社が成長してきた経緯、そして生成AI に対する期待について語りました。同社はリゾート事業、観光事業、温泉旅館の開発・所有・運営という 3 つの事業を展開しており、1990 年代前半に運営に特化するという大きな決断をしたことが、その後の成長につながったと述べています。また、団体旅行から個人旅行、国内旅行からインバウンド、そして情報収集から予約まで、すべてがスマートフォン上で行われるようになったという旅行業界の大きな変化にいち早く対応してきたことが、小さな企業がシェアを伸ばすことができた要因だと分析しています。そして、生成AI は 4 つ目の大きな変化であり、業務効率化や創造性向上、意思決定の迅速化、ブレストの効率化といったメリットがあることから、同社のさらなる成長につながると期待を寄せています。

出力を眺める

平手さんの氏名、所属は完璧でした。さすがGeminiくん
その他の方については氏名・所属は部分的にあっている、という感じでした
登壇内容の要約に関してはおおよそ問題なさそうでした。合間でサービス実演のコーナーもあったのですが、そこに関しても正しく解釈して要約していたのでさすがだなと感じました
あと、日本語に関しては全体的に違和感が全くないので、そこの精度もさすがという感じです