この記事は every Tech Blog Advent Calendar 2024(夏) 23日目の記事です。
こんにちは 開発本部データ&AIチームでデータエンジニアを担当している塚田です。
今回は先日行われたAWS Summit Japan 2024に現地参加する時間が取れましたので、 昨日の「Kotlin Fest 2024 に ひよこスポンサー として参加してきました！」に引き続きイベントレポートですが、個人的に印象に残ったことや聴講したセッションについて触れたいと思います。
セッション動画やセッション資料も期間限定で公開されているようなので、気になる方はそちらもご確認いただければと思います。
現地で参加したセッション(1日目のみ)
どのセッションも満席で熱量の高さを感じました。 また、セッション内で「生成AI」という単語を聞くことがないと思うほど頻繁に耳にしました。
基調講演 AWSと創る次の時代
1時間30分の大ボリュームだったので詳細は省きますが、
やはりAIについて触れられることが多く「責任あるAI」が何回も出てきており
その言葉からもあるようにAIが当たり前になり生活に溶け込んでいくようになっても
常に意識するべきことであることを再認識しました。
Amazon Q Businessの日本語対応が発表され、使うことができるのを楽しみにしています！
Dive deep on Amazon S3
S3をより深く理解するため3つの軸で詳しく説明がありました。
- フロントエンドの理解
- インデックスの理解
- ストレージ層の理解
その他にもAmazon S3 Express One Zoneや誤削除に対してにも言及がありましが、ここでは3つの軸についてまとめたいと思います。
フロントエンドの理解
- ピークのトラフィックは1PB/秒を超える規模となっている
- 利用者側でもできる緩和策がある
- マルチアップロード
- 独自実装せずにCommon Runtime(CRT)を利用しベストプラクティスに則る
- 新しいマウントポイントがいくつか出てきている
- S3マウントは新しいマウオンとオプションが出ているけれど、いまだにバッドプラクティス
- それなのに新しいマウントポイントが出てくる理由としては機械学習ニーズが大きい
インデックスの理解
- 350兆のオブジェクトを管理しており、1億リクエスト/秒を処理している
- 利用状況とキャパシティを常に監視し適切にスケールを行っている
- プレフィックスごとにPUTとGETのリクエスト数の上限が設定されている
- それを超えると503を返却する
- キー配列によって負荷が変わる
- キー名のカーディなりティは左に寄せる
- キー名に日付を入れる際はできるだけ右側にする
ストレージ層の理解
- 何百万ものハードドライブを利用して、エキサバイトのデータを保管している
- データは常に冗長化された環境で保管され保存時、保存後定期的にチェックを行なっている
感想
AWS re:Invent 2023でも同じような内容があったと記憶していますが、日本語で聞くことができ理解がより深まったと感じました。
冗長的にオブジェクト管理をしていたのは理解していましたが、どういう体系で管理されて利用できているかの理解を深めることができました。
S3 Express One Zoneの利用場面がいまいちイメージでできていませんでしたが、機械学習などI/O性能が上がることでメリットを受けられるなど理解が進みました。
データ×生成 AI - 事例から学ぶビジネスインパクト創出の方程式
- クラウドネイティブが進んでいる企業は生成AI活用も進んでいる傾向がある
- 活用が進んでいる企業では共通するポイントがある
- 顧客起点文化
- 小規模チーム
- 頻繁な実験
- 小規模チームでも大規模かつ機微なデータでも迅速に生成AIプロダクトが構築できる
- Amazon QやKnowledge bases for Amazon Bedrockを活用する
- 責任あるAIを作るためにも責任共有モデルに基づいた実現が必要になってくる
感想
活用が進んでいる企業に共通するポイントはなるほどと感じる部分が大きく責任あるAIを作っていくためにも上記に記載したもの以外もしっかり考えてアクションしていきたいと思いました。
EXPO
セッション以外にも様々なブースがありましたので、少しだけ触れたいと思います。
Partner Solution Expo
たくさんのパートナーブースがあり、盛り上がりがすごかったと感じました。
また、利用しているサービスのブースもありましたのでオフラインでの質問や相談ができたのがよかったです。
ご対応いただいた皆様ありがとうございます。
認定者ラウンジ
認定者ラウンジを利用させていただきましたが、利用するのにも多数の参加者が並んでおり資格取得者の多さに驚きを覚えました。
保持している資格によってステッカーがいただけたのですが、おまけでクッキーもいただきました。
あとで知りましたが、AWS Certified Data Engineer - Associateを持っているとクッキーももらえるようになっていたようです。
まとめ
たくさんのインプット、知識の更新をすることができ、インプットしたことを業務やプロダクトに還元できるようにしていきたいと強く思える場になりました。
生成AIなど進歩が早い中で頻繁に実験を繰り返し開発する文化をより強くしていきたいと考えています。
1日目最初のセッションが始まる30分前には多数のサインがありました！盛り上がりがすごい！
