立即咨询

电话咨询

微信咨询

立即试用
商务合作

选型必看 | 节省50%存储成本,入门级数仓也能拥有强劲性能

2021-12-16

AnalyticDB PostgreSQL高性能基础版

云原生数据仓库AnalyticDB PostgreSQL版(下文简称ADB PG)是阿里云数据库团队基于PostgreSQL内核(下文简称PG)打造的一款云原生数据仓库产品。在数据实时交互式分析、HTAP、ETL、BI报表生成等业务场景,ADB PG都有着独特的技术优势。

对于离线报表分析等公有云典型场景,对数仓的可用性的要求并不苛刻,因此ADB PG推出了单副本形态,在大幅提升IO性能的同时降低近一半存储成本的同时,极大的提升了产品性价比。

核心架构设计

ADB PG高可用版实例采用双副本模式,部署结构如下:

图片

高性能【基础版】实例相比高可用版实例,master和segment均采用单节点部署,即省略了上图中master node的副本standby node,和所有compute node中primary节点的副本mirror。这样做一方面在compute node上节约了一半的存储空间,并且直接节省了standby node;另一方面,省略了primary和mirror的同步过程,提升了写入场景下的IO能力:

图片

产品优势

性能优势

高性能【基础版】 采用单副本相比高可用版双副本设计,IO性能有比较明显的提升,2C规格下,最高可达到原有相同规格集群的2.5倍;此外,在含有大量数据写入的场景下,高性能【基础版】节省了向副本进行数据同步和流复制的过程,这种场景下又有额外的接近1倍的IO提升。

对计算节点规格均为2C,节点存储均为400G的高性能【基础版】和高可用版集群进行以下测试:

  1. 大小约为90G的行存表进行本地复制测试:

  • create table lineitem2 as (select * from lineitem);
 

基础版(单副本)

高可用版(双副本)

用时(s)

249

1307

本地表CTAS,INSERT INTO SELECT,这类IO密集型场景,提升十分明显,上述场景有5倍性能提升。

  1. TPC-H测试

TPC-H 测试是数据仓库最常用的基准测试之一,包括 22 个SQL(Q1~Q22),主要评价指标是各个查询的执行时间

在计算节点规格均为2C,计算节点存储均为400G,计算节点个数均为4的情况下,对高性能【基础版】和高可用版进行数据集总大小为100G的TPC-H数据集进行基准测试,结果如下(单位:s):
图片

可以看到由于IO性能的提升,相比于高可用版,高性能【基础版】的TPCH基准测试用时降低了40%。

成本优势

高性能【基础版】成本优势主要体现在两方面:第一是相同规格下,节省了一个副本的存储空间,降低了50%的存储成本;另一方面,计算节点在相同算力下降低了价格。

图片

入门配置为所能购买的最低配置,高性能【基础版】为2C 50G 2计算节点,高可用版为2C 50G 4计算节点。相比高可用版,高性能【基础版】的入门价格降低了59%

常用配置下,高性能【基础版】和高可用版均为为4C 100G 4节点。相比高可用版,配置相同的情况下,价格降低了22%

稳定性能力优势

维持高数据可靠性

ADB PG采用阿里云ESSD云盘作为存储介质,可保证99.9999999%的数据可靠性,即使发生计算节点宕机,也可保证无数据丢失。ESSD云盘自身采用了三副本技术,故可保证即使在单副本模式下,依然提供超高的数据可靠性,为客户的数据保驾护航。

可用性能力变化

1、WAL和checkpoint

ADB PG中,事务的每次修改数据的操作都必须首先被记录至WAL(Write Ahead Log)文件中。即每次事务提交时,会保证WAL日志已落盘。当数据库需要恢复数据时,可以通过回放WAL日志的方法来恢复已经提交但是尚未写入磁盘的数据库的数据更改。

checkpoint相当于在WAL日志中写入的一个恢复点标记,并将该标记之前的修改全部落盘。数据库恢复数据时,只需要回放到最近一次恢复点即可。ADB PG会定期执行checkpoint操作;当WAL日志过长时,也会自动执行checkpoint进行落盘。

2、Recovery模式

SQL崩溃时,主要是出现coredump或者out of memory等情况,会使ADB PG集群进入recovery模式,recovery模式中,会对残留的锁,内存等执行一些清理工作,并通过回放WAL文件来保证数据的完整性。Recovery期间,集群会暂时无法服务;完成recovery之后,集群会恢复正常。高可用版实例recovery时间大多在5-10min,而高性能【基础版】实例通过更改checkpoint机制等方式,recovery的时间可缩短至10s左右。

3、计算节点宕机

高性能【基础版】实例省略了一个副本,必然带来可用性的下降。高可用版的某个计算节点宕机之后,会立刻无缝切换对应副本,集群可以正常运行,宕机的计算节点的角色会切换为副本,在后台被自动重启;而高性能【基础版】实例单个节点宕机会导致整个集群出现短暂不可用,ADB PG会自动识别并触发秒至分钟级别的恢复任务来确保业务快速恢复。

4、计算节点宿主机宕机

计算节点宿主机宕机属于比较少见的极端情况,会触发宿主机的自动迁移。对于高可用版实例,仍然可以触发副本自动切换,集群可以正常运行,同时后台自动完成宿主机的迁移;高性能【基础版】实例则需要等待宿主机迁移成功后,再重启恢复集群,这个等待时间一般在15min左右。

ADB PG 高性能【基础版】由于省略了一个副本,在高可用方面出现了一些下降,在物理机宕机等极端情况下,集群恢复的时间变长。但通过ESSD多副本技术,仍保留了完整的数据可靠性,并且通过更改checkpoint机制的方式,减少了recovery的时间。根据以往公共云运行情况,recovery模式为出现概率最大的场景(远大于另外两个场景),而该场景下高性能【基础版】恢复速度当前要优于高可用版。

创建高性能【基础版】实例

可选地域

第一批高性能【基础版】实例覆盖5个核心区域, 用户可在北京可用区I,杭州可用区J,上海可用区L,深圳可用区F,新加坡可用区C 等5个可用区抢先使用。

图片

选择实例规格

图片

在首批开通的5个核心可用区中, 在实例系列提供“高性能【基础版】”实例的选项。由于对单点计算能力的加强,ADB PG进一步降低了起步门槛,允许最小的计算节点从2个节点起,综合起步成本降低了59%。

图片

配置存储空间置后,可选择想要购买的时长(若有稳定需求,建议购买一年期,享85折优惠),总配置费用一栏会显示当前配置的费用,确认后点击右下角的立即购买,即完成创建!

图片

总结

高性能【基础版】实例最大程度的适配非核心业务的IO密集型分析场景,大幅降低了产品的入门门槛,使用成本。未来ADB PG将持续深耕性价比,提高用户使用体验,助力企业解锁数据价值!

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

热门数字化产品

SaleSmartly智能客服工具SaleSmartly智能客服工具中一个面板回复所有渠道咨询,随时随地,一键快速回复大量咨询,SaleSmartly解决都是外国客人咨询,需配备懂外语的客服而导致 成本高的问题。通过客户的提问或行为,自动回复和解决其常见问题。可通过个性化的设置,对用户不同关键词或行为, 触发不同的自动回复及自动化流程。
上讯信息敏捷数据脱敏系统SDM敏捷数据管理平台软件(ADM)是上海上讯信息技术股份有限公司(以下简称“上讯信息”)自主研发的,主要面向金融、运营商、政府、能源、医疗等行业打造的全生命周期数据安全管理软件产品,用于数据备份、备份数据恢复验证、测试数据交付和静态数据脱敏等应用场景,可为企业上、中、下游数据的高效使用和安全管控提供一套整体解决方案。
阿里云云服务器ECS云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。 专业的售前技术支持,协助您选择最合适配置方案
纷呈科技电商开票软件纷呈科技电商开票软件实现多平台店铺订单一站式自动开票,无需托管税盘,企业自行管理,自动同步店铺订单及订单开票信息,在线批量、自动完成订单开票,自动回传发票至各电商平台,买家实时下载,覆盖所以税盘类型,多种模式操作,可自动、批量、单个实现订单开票。
网易瑶台网易瑶台,通过AI算法加持,只需要一张照片即可生成个性化形象,并支持200+维度的自由捏脸,打造元宇宙专属虚拟角色。基于分布式服务框架,支持十万虚拟角色实时在线,通过AOI(感兴趣区域)机制,实现万人同屏下虚拟角色间可见、可交互。
为你推荐
IP地址之谜:电脑主机还是网络说了算?IP数据云为您揭秘

在数字化浪潮席卷全球的今天,互联网已成为我们生活中不可或缺的一部分。然而,每当提及IP地址,许多人或许会感到困惑:是电脑主机决定了它,还是网络背后的神秘力量在操控?今天,让我们一同探讨这个谜题,并借助IP数据云的力量,揭开IP地址背后的真相。

2024-12-03
IP数据云:解密192.168,家庭网络的私有IP奥秘

在网络世界中,IP地址192.168.x.x如同一张熟悉的“名片”,频繁出现在家庭网络环境里。你是否想过,为什么我们电脑中的IP地址通常以192.168开头?这背后又隐藏着怎样的秘密?今天,让我们借助IP数据云的力量,一同揭开192.168的神秘面纱,并深入探讨公网IP与私网IP的区别。

2024-12-03
域名解析揭秘,为何至关重要,IP数据云为您守护网络安全

在数字化时代,互联网已成为我们日常生活和工作中不可或缺的一部分。然而,许多人在使用互联网时可能并未深思过一个关键问题:我们是如何通过简洁易记的域名访问网站的呢?这背后其实隐藏着一个复杂而精妙的过程——域名解析。今天,让我们一同揭开域名解析的神秘面纱,并探讨IP数据云在这一过程中所扮演的重要角色。

2024-12-03
揭秘“网络水军”黑幕:IP数据云助力打击虚假流量

在互联网时代,流量数据的真实性已成为一个备受关注的问题。近期,浙江慈溪警方成功捣毁了几个专门从事虚假刷人气、转载、评论及点赞的水军工作室,揭露了背后庞大的黑色产业链。据悉,这些工作室通过控制六百多部手机,利用群控软件制造虚假流量,涉案资金高达1000多万元。面对这一现象,我们不禁要问:如何才能有效识别并打击这些“网络水军”?

2024-12-03
如何预防电信网络诈骗?IP数据云反诈追踪助公安打赢反诈战!

近年来,电信网络诈骗犯罪屡打不尽,犯罪数量依旧处于高位,严重影响公众的财产安全和互联网生态环境,甚至破坏社会秩序的和谐与稳定,危害性极大。

2024-12-02
查看更多