S3のフォルダ構造とプレフィックスの話

本記事は AWSアワード記念！夏のアドベントカレンダー 2日目の記事です。
🎆🏆 1日目 ▶▶ 本記事 ▶▶ 3日目 🏆🎆

　こんにちは、佐々木です。
いろいろ思うところがあって、AWS Ambassadorに復帰することになりました。今年からTier制になって、最上位のPrincipal Ambassadorというのができるようです。まだクライテリアは発表されていませんが、せっかくなのでPrincipal目指して頑張っていきます。ということで、NRIネットコムのブログイベント「AWSアワード記念！夏のアドベントカレンダー」の2日目です。
　今回は基本に立ち返って、S3のフォルダ構造とプレフィックスの話です。

S3のフォルダの不思議な挙動！？

　S3のフォルダ配下のファイルを削除したら、フォルダごと無くなってしまったという経験ないでしょうか？軽く実験をしてみます。手順としては、次のとおりです。どんな挙動になるか解りますか？勘の良い方は、この手順で何を説明したいのか気がつくでしょう。

実験用のバケットを作成（prefix-sample-20240708）
CLIからfolder01/hoge.txtをコピーする
GUIからfolder01/hoge.txtを削除する
GUIからfolder02を作成する
CLIからfolder02/hoge.txtをコピーする
GUIからfolder02/hoge.txtを削除する

３の結果と、６の結果は、次の通りです。

folder01/hoge.txtの削除の結果、フォルダも削除される

folder02/hoge.txtを削除しても、フォルダは残る

　どうして、このような違いが出てくるのでしょうか？S3のフォルダ構成とプレフィックスの仕組みを理解していると、何故こうなるのかが説明できます。

S3のフォルダとプレフィックス

　S3上のオブジェクトの構成要素は、実はバケットとキーのみです。ファイルシステムのような階層構造は持たずに、フラットな構造です。

　この説明をすると、「でも、バケットの下に階層構造を作れるし、フォルダも作れる」という反論がでてくるでしょう。それも事実です。しかし、それはキー名をプレフィックスとオブジェクト名に分割して擬似的に階層構造を作っているだけなのです。

　そして、S3は0バイトのオブジェクトも作成できます。GUIから作成しているフォルダは、実はフォルダのプレフィックスをした０バイトのオブジェクトなのです。

docs.aws.amazon.com

先ほどの実験の解説

　ここまで説明したところで、改めて先程の実験の解説です。はじめにCLIからfolder01/hoge.txtというオブジェクトをコピーしました。これは、folder01というフォルダを作った上でhoge.txtをコピーするという挙動ではないのです。いきなりfolder01/hoge.txtというキー名を持つオブジェクトを作成しています。そのため、このhoge.txtを削除すると上位にあったと思われるfolder01も消えてしまったのです。
　次にfolder02というフォルダを作成しました。これは、folder02というキー名を持つ0バイトのオブジェクトを作成しています。その次にfolder02/hoge.txtを作成しましたが、もともと作っていたfolder02とは独立したキー名で作成されています。folder02配下に表示されるのは、S3の表示上の挙動です。そのため、folder02/hoge.txtを削除しても、オブジェクトとして別に作成されていたfolder02は消えません。

S3のフォルダ構造とプレフィックスを理解するのは、なぜ重要なのか？

　ここまでで、S3のキー名とプレフィックス・フォルダの関係は、理解できたと思います。ただ、こんなことを知らなくても何不自由なくS3を使うことはできるでしょう。では、なぜこの構造を知っているのが重要なのでしょうか？実は、S3のパフォーマンスを理解するためにも重要だからです。S3は分散ストレージです。そして、2024年7月時点の性能として、プレフィックスあたり5,500 GET リクエスト/秒の性能があります。データの配置はプレフィックスを元に配置されるので、同一のプレフィックスだと最大のパフォーマンスを発揮できなくなります。