40分で分かる - pages.awscloud.com · aiml / aws アンチパターン/...

40分で分かる

DynamoDBでのApp開発Follow @DynamoDB on

自己紹介

• 成田俊 id:oranie

• 経歴– 前職のWeb系会社でインフラエンジニアを担当、主にMySQLや

Cassandraの運用などに携わる

– Cassandra summit JPN 2014, 2017 スピーカー登壇

• AWSJでの担当– NoSQLサービス、DynamoDBをメインに技術支援を担当

はじめに

• Introduction to Amazon DynamoDB

• ちょっとしたAppをどう作ったか見てみる

• CIをどうするか

• まとめ

今日の流れ

• あくまでも開発はじめ

• どのライブラリを使うかとか開発環境構築について• 好きな環境、好きな言語でaws-sdkをベースに好きなlibを

• Amazon DynamoDB Accelerator (DAX)クライアントを使うか

• 2019/9/30 時点でJava、Javascript、.NET、Python、Goがサポート

• データモデリングのベストプラクティス、Tips、パターン• Advanced Design Pattern Amazon DynamoDBなどのコンテンツを是非

今日細かく話さないこと

Introduction to Amazon DynamoDB

Amazon DynamoDBFully managed nonrelational database for any scale

高速で一貫した性能

事実上無制限のスループット

ストレージ容量も制限なし

通信と保存データの暗号化

柔軟な権限管理

PCI, HIPAA, FIPS140-2など認証

SLAの提供

メンテナンスフリー

サーバレス

Auto scaling

バックアップ/リストア

Global tables

メンテナンスフリー

もしこれらを管理するコストが無ければ他に何が出来るか？

セキュリティ

OSパッチ適用

DBパッチ適用

アクセスコントロール

監査

暗号化

コンプライアンス対応

耐久性

サーバ, ラック, データセンタ維持

HW障害に伴うデータコピー

バックアップ・リストア

可用性

高可用性を実現する設計

モニタリング

クロスリージョンレプリケーション

性能

パフォーマンスチューニング

インデックス設計、作成

In-memory上でキャッシュ維持

拡張性

キャパシティプランニング

ホスト構築、投入作業

障害ホストの修復、撤去作業

Table構造Table

Attributes

PartitionKey

Sort Key

必須Key-value access patternデータの分布を決定

オプションModel 1:N relationshipsQueryによる幅広い探索で利用

All items for key==, <, >, >=, <=“begins with”“between”“contains”“in”sorted resultscountstop/bottom N values

Partation keyのみ sort key なし

Partition Key

Partation keyと sort key両方あり

Sort KeyPartition Key

NoSQL Workbench for Amazon DynamoDB(preview)

• Data modeler

• Visualizer

• Operation builder

の3つの機能を提供

GUIによるデータモデルの構築、視覚化、データ操作を支援

Win/Mac共に対応

オペレーションと同じ処理をするコードを生成する機能も対応(現在Python,Javascript,Javaに対応予定)

Operation builder

Build operationsでは

• Update Item

• Put Item

• Delete Item

• Query

• Scan

• TransactWriteItems

の操作が可能

それぞれの操作で必要なオプションを設定する事も可能

複数条件などの設定も可能

Sample App 解説

デモアプリ全体構成

Amazon DynamoDBAWS LambdaAmazon API Gateway

AWS Cloud

※Chalice frameworkで作成

チャットを実現させるために

• Commentの書き込み

• 最新25件のComment取得

• 全てのComment取得

• 時系列位置を指定して取得

という操作と、データ構造としてリアルタイムチャットなので時系列を表現するデータと名前、コメントデータがあれば簡単なリアルタイムチャットが実現出来る、と仮定

デモについて

例えばRedisだったら

• Stream型 XADD、XRANGE、XREVRANGE を使うと今想定している機能は実現出来る

• 実装例 : xadd(chatroom_id, *, name, name_value, comment, comment_value):

• SortedSetでも実現は可能• 実装例:zadd(chatroom_id(key), unixtime(score),コメントデータ

(member))

• Primary keyはchatroom_idをkeyとして書き込む

実現するには？

DynamoDB• RedisのStream型、SortedSet型と同じような形式をそのまま当てはめて表現することも出来るが、DynamoDBの特性を活かしより書き込みに対してスケーラブルなパターンを今回想定

実現するには？

‘name’: name, ← PK‘time’: now, ← SortKey'comment': comment,'chat_room': chat_room

DynamoDB側のモデリング解説

‘name’: name, ‘time’: now, ← SortKey'comment': comment,'chat_room': chat_room ← PK

Tableの構造だけではchat_room指定のQuery探索が出来ないので別途GSIを作成

• あえてchatroom_idをpartition keyには採用しない• 今回はカーディナリティが高いnameをpartition keyに採用

DynamoDB側のモデリング解説(Table)

DynamoDB側のモデリング解説(GSI)

書き込みが少ない時は問題無いが、多くなってきた時に単一chat_roomへの負荷が多いとスロットリングに引っかかる可能性が

はじめからGSI側のモデリングで良いのでは？

‘name’: name, ← PK‘time’: now, ← SortKey'comment': comment,'chat_room': chat_room

DynamoDB側のモデリング解説

もし読み込みが増えてきたらGSIをDynamoDB StreamsとRedisを組み合わせて負荷

をオフロードする事で永続化と参照負荷対応を分離する、全文検索ならElasticsearchに入れるなどユースケース違いも対応

• Commentの書き込み• putItem:念の為existing check付与

• 最新25件のComment取得• Query: chatroom id指定かつ時系列降順最大25件の条件付き

• 全てのComment取得• Query:chatroom idのみ指定

• 位置を指定して取得• Query:chatroom id 指定かつ時系列の指定時刻より少ないものを指定

実際のコードで確認を

デモについて簡単な解説

Redisなどとの組み合わせパターン

Amazon DynamoDB

Amazon ElastiCache

AWS Lambda

DynamoDB Streamsの更新データを取得

更新データを元にXADD or ZADDなど

コメント書き込み

コメント読み込みやPub/Sub

def handler(event, context):

〜〜〜〜〜〜〜〜〜〜〜〜〜〜

new = event['Records'][0]['dynamodb']['NewImage’]

〜〜〜〜〜〜〜〜〜〜〜〜〜〜

userId = new['UserId']['S']

newScore = new['Score']['N']

gameId = new['GameId']['N']

t_stats = '{"userId":"%s", "newScore":"%s", "gameId":"%s"}¥n' % (userId,newScore,gameId,)

print(t_stats)

rc.zadd(gameId,newScore,userId)

print("ranking data is ",rc.zrange(gameId,0,1))

response = boto3.client('kinesis').put_record(

StreamName = 'ranking',

Data = t_stats,

PartitionKey = userId,

Lambda側実装例

handlerが受け取ったdynamodb streamsのeventから、新しいデータを取り出す

新しいデータをredisに書き込む

dynamodb streamsのeventを別のStreamsに投げる事でData Lakeに連携させる事も容易に可能

CIをどうするか

CI（テスト）をどうするか？

DDBTable

Build project

Container

Build project

Container

OK ? NG ?

• Table名をbuild projectごとに分ける

• 並列に実行されるbuildが少なければ問題なし

• 多いとアカウントあたりのlimitに抵触するかもしれない

• DynamoDBでの制限、API 固有の制限などに記述

AppDDBTable

Build project

Container

Build project

Container

DDBTable

AppDDBLocal

Build project

Container Container

App+DDBLocal

App+DDB

Local development / pull req

STG release

• CodeBuild、CircleCI、GithubActionsでそれぞれ同じテストを実行するためのサンプルを紹介

• AppとDynamoDB Localのコンテナを同一build projectで同時起動

• 同一コンテナ内にDynamoDB localプロセスを同居

AppDDBLocal

Build project

Container

Container Container

App DDBLocal

まとめ

• DynamoDB開発でデータモデリング、Item操作の記述に迷ったらNoSQL Workbench for Amazon DynamoDBでテストを

• DynamoDB StreamsなどでDynamoDBと他のコンポーネントを組み合わせるなどもアーキテクティングでは重要

• CIなどDynamoDB Localで担保する部分との使い分けでよりリーズナブルに

まとめ

アンケートご協力のお願いお手持ちの受講票のアンケート用QRコードから

アンケートにお答えいただくと、記念品を差し上げております。

※イメージです

プレゼントの引き換えは、神田明神の会場出口付近（屋外）までお越しください

IT情報安全守護

2019 年 10 月 1 日〜11 月 5 日開催amzn.to/AWSInnovateJP

申し込み受付中

AWS 最新アップデート / コンテナ / AIML / AWS アンチパターン /

認定試験対策講座など60セッション

オンラインで参加できるカンファレンス、全 60 セッション

10/9, 10/15 ライブ配信

AWS エキスパートへのQ&A

修了証明書の発行業務時間に視聴

2019 年 10 月 1 日〜11 月 5 日開催amzn.to/AWSInnovateJP

Application DevelopmentContainerServerless

オンラインで参加できるカンファレンス、全 60 セッション

おすすめセッション

Thank you!

40分で分かる - pages.awscloud.com · aiml / aws アンチパターン/...

Documents

大学内で実施するキャリア...

lebesgue 積分論 (lebesgue integral theory)lebegue...

sÉÅíçêïçêâë ^êÅÜáíÉÅí better designs with...

wireless microphone system - タムラ製作所 ·...

von mises 分布における経験 bayes · 2012. 10....

研究概要小池 - university of...

ワーク・ライフ・バランスのヒント ›...

bradley, michael issue...

kyou front-1201.indd 3 12.1.25 2:04:36 pm ·...

the ihe initiative...

分かる fuchs...

part 1....

1 序論 -...

データで見る...

コンテンツを最大限に活かせる...

学力向上 › school › content › ... ·...

awsではじめるクラウド導入 - nec...

dp04 azure data services で実現する...

cholinesteraseserotec-labo.com/img/guide/che_guide.pdf2 i....

l’horloge - 大阪学院大学 ·...