分布式数据库和并行数据库相比有什么区别?

来源: 云巴巴 2020-04-16 17:45:26

    MPP(Massively Parallel Processing)是指多个处理器(或独立的计算机)并行处理一组协同计算,为了保证各节点的独立计算能力,MPP数据库通常采用ShareNothing架构,最为典型的产品是Teradata(简称TD),后来也出现Greenplum(简称GPDB)、Vertica、Netezza等竞争者。
    单在多年的实际发展应用中,我们可以发现MPP从批处理和联机访问控制两个重要方面都显现了一些研究不足。

分布式数据库和并行数据库相比有什么区别?

落后节点:
    使用本地CPU,存储器和磁盘资源,完成在MPP架构的本地数据处理,该节点的工作负载是存储在这些节点中完全对称,这个架构虽然提供了较好的扩展性,但隐藏了极大的问题——Straggler,即当某个节点出现问题导致速度比其他节点慢时,该节点会成为Straggler。
    此时,无论集群规模多大,批处理的整体执行速度都由Straggler决定,其他节点上的任务执行完毕后则进入空闲状态等待Straggler,而无法分担其工作,导致节点处理速度降低的原因多数是磁盘等硬件损坏,考虑到磁盘本身的一定故障率(根据统计前三个月内2%损坏率,第二年时达到8%)当集群规模达到一定程度时,故障会频繁出现使straggler成为一个常规问题。
并发性能:
    由于MPP“完全对称”,即当查询开始执行时,每个节点并行执行完全相同的任务,这意味着MPP支持的并发数与集群中的节点数完全独立,根据该文中的测试数据,4个节点的集群和400个节点的集群技术支持的并发用户查询数是相同的,随着并发数增加,这二者几乎在相同的时点出现安全性能骤降。
    传统的MPP在线查询主要针对企业管理的少数用户,对并发能力的要求较低。 在大数据时代,数据的用户从战略管理向战术执行层乃至一线人员转变,从孤立的分析场景向与业务交易场景的整合,对于联机查询的并发能力发展已经远超MPP时代,成为OLAP场景分布式数据库系统要考虑的一个非常重要研究问题。
    从整体架构来看,分布式更加看重大数据量批量处理的吞吐能力。同时,分布式具备MPP所缺失的批量任务进行调整发展能力,数据的多副本存储使其成为具有“本地化”数据信息加工的备选节点,而且数据加工处理与数据存储并不绑定,可以根据不同节点的运行效率动态调整任务分布,从而在大规模部署的情况下具有整体上更稳定的效率。相比之下,MPP在数据的相对少时有更好的效率。
并行数据库和分布式数据库的区别是什么
    (1)应用研究不同。并行数据库系统的目标是充分发挥并行计算机的优势,利用系统中的各个处理机结点并行完成数据库任务,提高数据库系统的整体性能,分布式数据库系统主要目的在于可以实现场地自治和数据的全局透明共享,而不要求利用网络中的各个结点来提高系统分析处理性能。
    (2)不同的实现方式。在具体实施中,分布式数据库系统与并行数据库系统也有很大的不同。 在并行数据库系统中,为了充分利用各节点的处理能力,可以在各节点之间采用高速网络连接。节点键的数据传输的成本相对较低,当一些节点处于空闲状态,可以通过高速网络处理工作负载过大的节点,以实现系统负载平衡。
    然而,在分布式数据库系统中,为了以满足应用需求,满足了部门分布特点的需求,连接到局域网或广域网的节点中,网络带宽低,颠倒点的通信开销大点。因此,在查询处理中应尽可能减少节点之间的数据传输。
    (3)各结点的地位不同。在并行数据库管理系统中,各结点是完全非独立的,不存在全局应用和局部应用的概念,在数据处理中只能通过发挥协同作用,而不能有局部应用。在分布式数据库管理系统中,各结点除了能通过网络进行协同工作完成全局事务外,各结点具有场地自治性,每个场地使独立的数据库系统。每个网站都有自己的数据库,客户,CPU和其他资源来运行自己的数据库系统,执行本地应用程序具有高度自治。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

热璞数据库HotDB收到央视网感谢信

热璞数据库HotDB收到央视网感谢信

热璞数据库HotDB收到了来自央视网的感谢信,对在庆祝新中国成立70周年报道工作中,热璞数据库HotDB做出的贡献给予表彰。央视网是热璞数据库HotDB多年使用分布式事务数据库产品HotDB Server的重要客户。

2020-02-10 17:16:06

阿里云数据库以年增115%的速度位列全球前三

阿里云数据库以年增115%的速度位列全球前三

最新消息!国际权威研究机构Gartner发布 《The Future of the Database Management System (DBMS) Market Is Cloud》报告。鲜明指出:数据库的未来是上云,阿里云已位列全球云数据库市场份额前三

2020-02-27 16:49:40

数据库文件系统阶段的数据管理特点

数据库文件系统阶段的数据管理特点

本文主要从数据库文件系统阶段的数据管理的优点和缺点两个方面来说一下。 优点 由于我国计算机的应用研究转向信息资源管理,因此对文件要进行分析大量的查询、修改和插入等操作。所以,数据库以“文件”形式可长期进行保存在外部数据存储器的磁盘上。

2022-11-22 10:51:42

数据库系统是如何进行数据管理的

数据库系统是如何进行数据管理的

随着我国计算机在数据库管理研究领域的普遍应用,在20世纪60年代后期,人们对数据信息管理系统技术提出了一个更高的要求,希望面向中国企业或部门,以数据库为中心组织相关数据,减少财务数据的冗余,提供更高的数据资源共享服务能力。 同时我们要求程序和数据分析具有

2022-11-22 10:58:30

深入解读腾讯云数据库自研内核

深入解读腾讯云数据库自研内核

TXSQL 是腾讯云数据库团队自研 MySQL 内核分支,100%兼容原生 MySQL 版本,针对企业级的重要场景自研众多核心特性,如企业级透明数据加密、审计、线程池、热点更新保护、SQL 限流、快速加列等功能

2022-02-24 10:24:34

干货分享!优炫数据库三大业务创新实践

干货分享!优炫数据库三大业务创新实践

    我们正处于大数据爆炸的时代。在中国市场,互联网和移动互联网的快速发展带来了数据的爆炸式增长。具体到行业,国内的金融、电信网络运营商、政府等机构工作本身就已经积累了经验丰富的海量信息数据,并且从过去的数据源单一走向数据源多样化。     随着社会各个

2022-11-21 15:49:23

严选云产品

开源网安S-SDLC软件研发安全全流程管理平台 S-SDLC平台能够集成业界主流的安全检测工具的检测结果,除了开源网安自研Vulhunter、SourceCheck、CodeSec等安全工具外,支持集成Fortify、StackRox、Coverity等第三方工具。平台可以通过系统名称或者唯一编号进行模糊查询,或者通过系统级别、所属业务领域进行筛选。项目的相关漏洞数据可以通过漏洞名称、项目名称、项目版本、下属应用名称、检测工具、漏洞修复状态进行筛选。
励销云AI智能电话机器人 励销电话机器人,是国内领先的一体化数字商业智能平台——励销云专为企业电销团队开发的智能机器人,能够基于语义理解、声纹识别、机器学习等算法等模拟真人声音与客户进行电话销售,替代了人工机械式的工作,操作简单,导入号码自主呼叫,毫秒级响应,全年无休,适应多种场景化应用, 最大限度地提升企业电销效率。
百度灵医智惠爱助医基层医疗解决方案 百度推出灵医智惠品牌,基于百度大脑,打造医疗AI中台、医疗知识中台和医疗数据中台三大中台能力,提供临床决策支持、眼底筛查、病案服务、智能审方、慢病管理等产品系列,服务院内院外全场景,助力医院、HIS厂商、电子病历厂商等行业合作伙伴效率及能力提升。
快递100企业快递收发管理系统 快递100企业快递收发管理系统,10年快递服务经验,专业的服务平台、服务体系,丰富的产品功能,全场景满足企业快递管理服务需求。寄件管理、到件管理、企业管理、财务管理四大版本功能,可根据企业需求选择。
长亭纵横(Matrix)集中管理平台 以较大规模部署的安全产品集中管理为核心,整合企业安全资源,构建集中化管理平台,全局视角实时监测企业安全风险。
腾讯云慧眼AI人脸防护盾 腾讯云慧眼人脸核身是一组对用户身份信息真实性进行验证审核的服务套件,提供人脸核身、身份信息核验、银行卡要素核验和运营商类要素核验等各类实名信息认证能力,以解决行业内大量对用户身份信息核实的需求,广泛应用于金融、运营商、共享出行等领域。

甄选10000+数字化产品 为您免费使用

申请试用