负载的平衡和分布式存储主要的实现思路

来源: 云巴巴 2022-11-21 10:56:35

 

    你知道负载的平衡和分布式存储主要的实现思路是什么吗?本文就来介绍一下。

    用户向集群提交数据块,系统在接收到数据后,按照预告设定的副本参数(默认为3)复制出若干副本;按照定义好的机架分配策略,把刚才生成的各个副本逐一分发到集群中;对于默认3个副本的情况,按照机架分配规则,其中两个需要放置于同一个机架上,但这两个副本分别处于该机架的不同节点上,另外一个副本则要求单独置于另一个机架上;启动一个定时任务,通过Name Node节点定时扫描所有节点,统计出整体负载分布情况;将集群当前负载状态与预设的阈值进行对比,并根据对比的结果对各节点的负载情况进行调整,从而实现负载均衡。

    不难看出,还保证了数据的可用性,这种负载均衡策略不仅可以保证数据的安全,在系统的可靠性和读写性能上也有很大的优势。通过该策略,可以进行实现各节点的负载信息动态发展平衡。当整个集群大规模,性能会名称节点节点提出了巨大的挑战,但这个策略并不完美,所以后者需要系统的大规模扩张具有一定的局限性。

    下面介绍一下有关术语:DFS拓扑(DFS topology):包括DFS管理控制台及其中的元素,一个分布式文件系统的整体逻辑层次,如根目录共享和副本集。DFS根(DFS root):在DFS拓扑的最顶层共享,DFS根能为基于域的操作系统在域一级定义。它是组成整个的DFS共享文件的开始点。基于域的DFS可在不同域中有多个根,但在进行一个企业服务器上只能有一个根。 根副本(根副本):服务器复制DFS根以提供更好的有效性。保存DFS根服务器假定分布参考以客户为共享文件夹的任务。并且创建有根副本,如果服务器不可用,则可以通过根副本所在服务器访问DFS空间。DFS链接:DFS拓扑的一部分,是DFS空间的特定内容。它被形成为一个或多个共享的连接到目录的。它通过把自己一个DNS名映射到企业目标信息共享资源文件夹的标准UNC来实现。 复制策略(replication policy):一旦建立到域DFS的链接,就可以为它创建一个副本。为了原始文件和复印件之间做出跟上时代的步伐,则需要配置复制策略。基于域的DFS根目录文件或者一个子目录都支持进行复制。不支持独立的DFS复制。

    以上,就是关于负载的平衡和分布式存储主要的实现思路简单介绍。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

物理数据库设计技术之企业云存储服务

物理数据库设计技术之企业云存储服务

网络信息化时代,网络已经成为常用通信工具,每天都有许多的数据。如何进行企业云存储服务,就成了首要前提,企业云存储服务的出现成企业内部使用的主要的网络数据存储工具。 企业云存储服务是一种物理数据库设计技术,DBA和数据库建模自己非常熟悉的人员。虽然分区技术

2022-11-21 10:34:32

有关于对象存储的相关优缺点的简要介绍

有关于对象存储的相关优缺点的简要介绍

分布式存储的应用场景相对于其存储接口,现在流行分为三种,对象存储、块存储和文件存储。由于篇幅原因,本文就主要介绍一下云存储的三种类型之对象存储的相关优缺点。 对象存储软件是有专门的文件系统的,所以存储资源对外又相当于文件服务器,所以对象存储的出现,很好地

2022-11-21 10:50:36

想知道各类云存储图册的相关知识吗

想知道各类云存储图册的相关知识吗

当我们使用广域网和互联网时,我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网,并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器。 不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安

2022-11-22 11:08:01

关于云存储虚拟化技术和存储网络化管理技术

关于云存储虚拟化技术和存储网络化管理技术

你可能没有接触过云存储,但是你一定在网脑或电视中见到过。本篇文章,就跟随着小编的脚步一起来看一下有关于云存储的相关知识吧。 云存储中的存储设备数量庞大且分布多在不同地域。如何实现不同厂商、不同型号甚至于不同类型的多台设备之间的逻辑卷管理、存储虚拟化管理和

2022-11-22 11:12:09

云存储之间的这些部署模型和优势你都知道吗

云存储之间的这些部署模型和优势你都知道吗

云存储实际上是在云计算概念上延伸和发展出来的一个新概念。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备。那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。

2020-04-08 17:42:45

索引优化之与企业云存储服务的重要性

索引优化之与企业云存储服务的重要性

众所周知,我们生活在一个动态的世界里,面临很多困难。我们只能面对他们,所迈出的第一步路是关键,企业云存储服务这个产品可根据自己的需求,更好的对企业云存储服务进行一个分析与处理运用。 这样在查找相关索引字段为条件以及记录时就可以很快地从索引中找到问题对应分

2022-11-21 10:34:00

严选云产品

中服云工业互联网平台 中服云工业互联网平台,产线设备感知、生产流程管理、设备监控运维、数据自动化分析展示与一体的产品组合。建立统一的工业PaaS支撑底座,建设面向开发、运维、运营、工具与服务等能力子系统,最终以统一平台门户向各类用户提供服务。
E签宝电子签名平台 e签宝为用户提供一套完整的全生态电子签名服务,全套产品体系助力用户系统性解决签署难题,降本增效。
契约锁金融担保行业电子签章解决方案 契约锁金融担保行业电子签章解决方案,签署时支持自定义签署方式,批量签署降低工作量提高效率,多样化签署能力,高效签署。灵活与各类系统集成,数字化印章签名,经过CA机构认证,关联数字证书,使其具有法律效力。
同创永益IStorM Chaos混沌工程演练平台 同创永益IStorM Chaos混沌工程演练平台拥有丰富的可扩展的故障库,除可为企业提供所有基础的,几乎涵盖所有的已知故障外,还支持自定义来扩展故障库,该平台已获得“可信云混沌工程平台”先进级评估。
i-Digital Engine biz业务中台 云徙业务中台是为了应对企业前台业务的快速发展,将企业能力沉淀到共享服务中心,并以API接口方式支撑前台业务快速创新的能力平台。云徙业务中台将业务数据与业务处理逻辑之间解耦,将基础通用能力作为共享服务,通过组件和连接器为企业创新赋能。
腾讯云跨境电商平台 腾讯云跨境电商平台为电商行业支撑能力,提供全球加速-助力电商企业出海,电商直播-助力电商企业营销,电商模型训练与推理-qGPU降本增效,助力电商企业高可用等一体化产品解决方案

推荐视频

甄选10000+数字化产品 为您免费使用

申请试用