京东云云海统一存储平台_分布式存储系统

申请试用

京东云云海统一存储平台

京东云云海统一存储平台，云海以全自研统一引擎为底座，提供块存储、对象存储、文件存储、并行文件存储、大数据存储5种自研产品，支持标准x86或信创存储服务器；已在京东公有云上规模使用，并以纯软授权、软硬一体机方式独立输出。

立即咨询

首页 > 产品中心 > 基础存储服务 > 京东云云海统一存储平台

云海分布式存储产品概览 icon

云海以全自研统一引擎为底座，提供块存储、对象存储、文件存储、并行文件存储、大数据存储 5种自研产品，支持标准x86或信创存储服务器；已在京东公有云上规模使用，并以纯软授权、软硬一体机方式独立输出。

云海产品能力分析

全自研
基于京东10+年在存储产品上的积累，针对新硬件的不断发展和传统存储架构不足，全新自研新一代存储引擎，充分满足存算分离、AI训练等新兴场景趋势的需求

高性能
基于全自研架构及京刚芯片加速，云海在公有云生产环境上做到单IO延迟100μs；云海-块存储性能指标：单实例百万IOPS下平均延迟 <200μs；性能接近本地NVMe磁盘

高可用/高可靠
与传统分布式存储架构不同，云海采用全追加写的新架构模式，保障了多副本强一致性，100% 写高可用，多机房高可用 / 精细化流控 / 副本故障下高可用性

低成本
块存储支持1.5 副本生产级EC，对象存储低至1.1x 副本的存储方式，对QLC-SSD 友好的架构设计，使QLC-SSD能大规模应用于高性能场景的生产环境；官方认证为国内最大规模使用QLC的云厂商

云海与传统分布式存储对比 icon

与传统分布式存储架构相比，云海存储构架在性能、可用性、可靠性、体验有明显优势

云海产品能力 – 交付方式 icon

传统硬件厂商

传统硬件厂商基本以绑定自家硬件的方式售卖，以售卖硬件为目标。客户有硬件绑定的风险。

云海存储

同时支持纯软授权，软硬一体方式交付。除部分配件有建议选型外，不强制硬件选型，可以支持更灵活多样的服务器配置，客户原有服务器也可利旧使用。

存算分离的需求、趋势、难点 icon

存算耦合缺点

资源浪费：不同时期对存储和计算的需求不同，绑定两者需要同时对两种资源进行扩展或收缩，会造成资源的明显浪费使用效率低：两者绑定下的扩展，通常会伴随存储迁移大量数据，导致使用效率低应对突发难度大：突发用户访问，超高并发下单等需求对计算资源的需求会爆炸增长，存算耦合扩容会使得扩容成本巨大，同时大促过后对于资源的释放将会造成大量新增机器闲置

存算分离难点 – 高性能存储需求

本地NVMe 磁盘读写延迟在100us 左右，单盘随机读写 IOPS在 20万。传统分布式存储的性能与本地NVMe 磁盘相差太多，存算分离后中间件会有很大性能损耗（50%以上，最差场景下降低75%）。

云海 – 释放存算分离价值 icon

云海 – 释放存算分离价值 icon

云海存算分离实践：京东云 RDS & ES icon

存算分离收益：由原来多个业务孤立资源池，拉通到一个全局共享的弹性资源池；计算资源利用率明显提升，存储资源利用率提升到 80%以上。

云海存算分离实践：京东云原生数仓 icon

存算分离数仓，极低的使用和运维成本

共享存储
可大幅降低存储的成本，双副本架构下可降低存储成本72%

按数据需求扩容
存储的可真正按需使用，自动扩容，提升运维自动化，进一步降低使用成本。

自动伸缩
闲时自动释放资源，忙时自动扩容，根据业务负荷动态调度资源，降低用户资源和运维成本。比如白天查询分析高峰按时或按需扩容，晚上定时/闲时释放资源。（Snowflake特性之一）

资源精确匹配，从容应对突发
无须一开始创建大规模的集群，只需创建跟业务量适配的资源即可，资源不再空闲与浪费。

云海存算分离实践：京东云原生数仓 icon

存储资源利用率由原来30+%提升到 80%以上，支持根据用量按需扩容，避免阶梯扩容的资源浪费

京东 AI 训练产品与场景 icon

极速型文件存储与 AI 训练 icon

场景挑战：在自动驾驶的大规模 AI 训练的场景下，数据读写的性能会直接影响训练效率。AI 场景下的数据访问特性主要表现在：海量小文件，由于训练任务需要的文件数量都在几亿到十几亿的量级，同时，由于很多训练模型都是依赖于图片、音频片段、视频片段文件，而这些文件基本上都是在几 KB 到几 MB 之间。读多写少，在大部分场景中，训练任务只读取文件，中间很少产生中间数据，即使产生了少量的中间数据，也是会选择写在本地，很少选择写回存储集群。目录热点，由于训练时，业务部门的数据组织方式不可控，很有可能用户会将大量文件存放在同一个目录，容易导致多个计算节点在训练过程中，会同时读取这一批数据，这个目录所在的元数据节点就会成为热点。

产品优势

基于云海的极速型云文件产品，支持弹性可扩展的元数据管理系统，小文件规模可达千亿；受益于云海存储引擎的性能，目前单文件实例最大吞吐可达 20GB/s ，IO 处理能力可达 200万。目前京东集团所有关键训练业务都运行在极速型云文件系统上。产品高性能、灵活扩展的能力有力的支撑了业务增长带来的大容量和高性能的需求，并经历了多次 6.18 /11.11 大促考验。

云海对象存储 – 产品特点 icon

云海特点 – 多机房机制 icon

音视频、图片存储客户案例 icon

核心场景：京东云对象存储服务基于京东集团十几年以来成熟稳定的底层架构，历经618及双11等大促考验。目前系统在京东内部已经承载了零售、科技、物流、广告、大数据等1200个以上部门的关键数据，为京东业务高速增长提供了坚实的保障。京东云对象存储作为京东商城存储基础设施，为商品主页视频、详情图片及视频、用户评论视频等提供海量、安全、低成本的存储服务。并应用跨区域容灾与备份，用户存储数据在对象存储的数据可以通过的跨区域复制功能实时同步其他地域，实现数据异地容灾，用户在应对极端灾难时，保证业务流畅，同时为重要数据加上多重保险。

音视频、图片存储客户案例 icon

核心场景：联通沃云盘是联通在线的重点电信增值服务项目，目标是能够做出国内前列的云盘产品。客户早期基于开源 Ceph 构建，存储系统的上传下载都有明显瓶颈。因此希望能够借助合作伙伴在云存储技术上的能力，获得高可靠、低成本、高性价比的存储解决方案，迅速拉近与市场上云盘竞争对手的差距解决方案：京东云对象存储在大并发情况下的上传下载性能，吞吐量、带宽都有良好优化，超过开源 Ceph。在架构设计上，对元数据管理、磁盘故障处理有设计优势，可以支持存储千亿级小文件，并保障业务连续性和数据可靠性。支持副本+EC的数据冗余机制，具有较高的成本优势，且在京东集团内部有大规模落地应用，且经过多次大促洪峰考验。经过客户生产验证，整体性能超过客户原有预期。

金融类场景案例