aws 数据服务介绍webinar+… · connections amazon aurora mysql 50 40,000 10,000 500 71,000...

AWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营

| WebinarsAWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营

| Webinars

Joe 施乔 AWS 解决方案架构师

AWS 数据服务介绍Amazon Aurora 上手实践


| Webinars

SQL Server 2008 & 2008 R2 即将结束支持

Microsoft 对 SQL Server 2008 和 2008

R2 的支持将于 2019 年 7 月 9 日结束。这

意味着定期安全更新将结束。

消息来源：https://www.microsoft.com/zh-cn/sql-server/sql-

server-2008


| Webinars

• 支持不停机迁移

• 可以将数据迁入或迁出 Amazon EC2 上建立的数

据库或 Amazon RDS

• 通常需要在 AWS SCT (Schema Conversion Tool)

基础上人工修改 schema

• 支持同构或异构数据库迁移

AWS Database

Migration

Service


| Webinars

客户端

应用程序用户

AWS

Internet

VPN

保持应用程序在迁移过程中继续运行

启动复制实例

连接到源数据库和目标数据库

选择 table、schema 或数据库

使用 AWS DMS 创建表、加载数据并使其保持同步

可随时将应用程序切换到目标

AWS

DMS


| Webinars

议程

• AWS 核心数据服务介绍

• Amazon Aurora 介绍与适用场景

• Amazon Aurora 实操

• Amazon Aurora 使用 Tips

• Q & A


| Webinars

AWS 核心数据服务介绍


| Webinars

在自有数据中心搭建数据库服务

Power, HVAC, net

Rack & stack

Server maintenance

OS patches

DB s/w patches

Database backups

Scaling

High availability

DB s/w installs

OS installation

App optimization

you


| Webinars

基于Amazon EC2构建数据库服务

Power, HVAC, net

Rack & stack

Server maintenance

OS installation

Power, HVAC, net

Rack & stack

Server maintenance

OS patches

DB s/w patches

Database backups

Scaling

High availability

DB s/w installs

OS installation

App optimization

you


| Webinars

如果选择托管的数据库服务

Power, HVAC, net

Rack & stack

Server maintenance

OS patches

DB s/w patches

Database backups

High availability

DB s/w installs

OS installation

Scaling

Power, HVAC, net

Rack & stack

Server maintenance

OS patches

DB s/w patches

Database backups

Scaling

High availability

DB s/w installs

OS installation

App optimization

you


| Webinars

托管的关系型数据库

Relational Databases

Amazon Aurora, MySQL, PostgreSQL, Oracle, SQL Server,

MariaDB

Fully managed zero adminAmazon

RDS


| Webinars

Amazon RDS：托管的 SQL service

与现有应用兼容，可选数据库引擎• Amazon Aurora, MySQL, PostgreSQL, Oracle, SQL Server, MariaDB

点几下鼠标或者调用 API，就可完成部署• AWS 负责 patching, backups, replication

• 非常容易 scale up

• 快速、可预测的数据库性能（根据需求确定 IO 性能和存储卷大小）

无固定资产投资，按使用付费

Amazon RDS


| Webinars

选择 Multi-AZ 以实现高可用性和数据耐久性

自己实现 MySQL on AWS 的高可用性（High Availability）

非常多步骤和问题需要考虑…

安装 primary 和 standby 的数据库实例配置数据库存储卷创建同步复制管理 DNS 更新检测实例失效条件检测网络失效条件检测存储失效条件确定何时切换….

重新建立主从连接…

数据库维护的时候怎么做…

Amazon RDS Multi-AZ

实现HA 只许勾选 Multi-AZ Deployment 选项


| Webinars

Amazon ElastiCache

云端分布式内存缓存提升重读型负载的延迟及吞吐能力支持开源 caching 引擎

• Memcached

• Redis

完全托管

Multi-AZ 集群

示例• Caching of MySQL database query results

• Caching of complex query post-processing results


| Webinars

Amazon ElastiCache：高可用、可扩展的架构

Elastic Load

Balancing

Clients

AZ a

AZ b


| Webinars

开源分布式检索系统

全托管的 Elasticsearch 和 Kibana

基于 VPC 的安全设计

标准的 Restful API 接口

快速扩展，易于维护Amazon

Elasticsearch

Service

Elasticsearch Kibana


| Webinars

Amazon ES 应用场景 –日志分析

Logstash

日志搜集

Elasticsearch

日志存储&检索Kibana

展现

Amazon ES



| Webinars

Amazon Aurora 介绍与适用场景


| Webinars

针对云优化的关系型数据库

有商业数据库的性能和可靠性

兼顾开源数据库的简单性与成

本优势

兼容 MySQL 与 PostgreSQL

什么是 Amazon Aurora?

Amazon Aurora


| Webinars

Amazon Aurora 存储引擎概述

• 数据在3个 Availability Zones 中复制6份

• 持续备份到 Amazon Simple Storage

Service (Amazon S3) (具有11个9的持久性)

• 持续监视节点和磁盘并自动修复

• 10GB 的区段作为修复和存储根据用量自动增长的基础，存储可扩展到64 TB

• Quorum system 读写

AZ 1 AZ 2 AZ 3

Amazon S3

Database

Node

Storage

Node

Storage

MonitoringStorage

NodeStorage

NodeStorage

Node

Storage

NodeStorage

Node


| Webinars

AWS 存储引擎容错

可能问题?

Segment 损坏 (磁盘)

节点损坏(主机)

AZ 损坏 (网络或数据中心)

优化4 out of 6 write quorum

3 out of 6 read quorum

Peer-to-peer replication for repairs

SQL

Transaction

AZ 1 AZ 2 AZ 3

Caching

SQL

Transaction

AZ 1 AZ 2 AZ 3

Caching


| Webinars

Amazon Aurora 只读副本

可用性

• 自动检测并替换失败的database nodes

• 自动检测并重启失败的database processes

• 只读副本在主节点故障时自动提升 (failover)

• 客户可以指定 fail-over 顺序

AZ 1 AZ 3AZ 2

Primary

NodePrimary

Node

Primary

Database

Node

Primary

NodePrimary

NodeRead

Replica

Primary

NodePrimary

NodeRead

Replica

Database

and

Instance

Monitoring

性能

• 客户程序可以将读流量指向只读副本

• 读负载在多个只读副本间均衡


| Webinars

与 MYSQL 写性能比较

SysBench Write-Only (writes/sec)

DB Size Amazon Aurora MySQL

1 GB 107,000 8,400

10 GB 107,000 2,400

100 GB 101,000 1,500

1 TB 41,000 1,200

SysBench OLTP (writes/sec)

Connections Amazon Aurora MySQL

50 40,000 10,000

500 71,000 21,000

5,000 110,000 13,000 0

20000

40000

60000

80000

100000

120000

140000

r3.large r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge

SysBench Write Only

MySQL 5.6 MySQL 5.7 Amazon Aurora


| Webinars

与 MYSQL 读性能比较

数据来源 – https://www.allthingsdistributed.com/files/p1041-

verbitski.pdf

0

100000

200000

300000

400000

500000

600000

700000

r3.large r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge

SysBench Read Only

MySQL 5.6 MySQL 5.7 Amazon Aurora


| Webinars

Amazon Aurora 的优势与适用场景

• 性能要求很高

• 降低成本，根据实际使用的存储量付费，对于测试数据库可以考虑使用serverless

• 需要 Read replica 的 lag 尽量小

• 需要 Failover 导致的业务侧访问中断时间尽量小

• 兼容 mysql 和 postgresql

• Amazon Aurora 不断推出新的功能



| Webinars

Amazon Aurora 实操


| Webinars

Aurora 实操

• 创建 Aurora 数据库，并进行 Multi-AZ 部署

• 通过 SSH Tunnel 的方式连接数据库

• 调整数据库实例大小（纵向扩展）

• 为 Aurora Cluster 增加只读节点（横向扩展）

• 主备切换 (Failover)

• 打开 binlog

• 打开并下载慢日志查询 (slow query logs)



| Webinars

Amazon Aurora 使用 Tips


| Webinars

Amazon Aurora 使用 Tips

• 应用程序内连接 cluster endpoint，不要连接实例地址

• Aurora默认备份为1天，建议延长备份周期

• 默认参数组不可更改，建议使用自定义参数组

• 使用时间点恢复功能恢复的 Aurora cluster endpoint 不同，应用程序需要更改连接的endpoint

• 默认参数组 binlog 不打开, 只有 Master 节点才能打开 binlog



| Webinars

我们希望您喜欢今天的内容！也请帮助我们完成反馈问卷。

欲获取关于 AWS 的更多信息和技术内容，可以通过以下方式找到我们：

微信公众号：AWSChina

新浪微博：https://www.weibo.com/amazonaws/

领英：https://www.linkedin.com/company/aws-china/

知乎：https://www.zhihu.com/org/aws-54/activities/

视频中心：http://aws.amazon.bokecc.com/

更多线上技术活动：https://aws.amazon.com/cn/about-aws/events/webinar/

感谢参加 AWS 在线研讨会

aws 数据服务介绍webinar+… · connections amazon aurora mysql 50 40,000 10,000 500 71,000...

Documents