立即咨询

电话咨询

微信咨询

立即试用
商务合作

京东云云海统一存储平台

京东云云海统一存储平台,云海以全自研统一引擎为底座,提供块存储、对象存储、文件存储、并行文件存储、大数据存储5种自研产品,支持标准x86或信创存储服务器; 已在京东公有云上规模使用,并以纯软授权、软硬一体机方式独立输出。
立即咨询
icon云海分布式存储产品概览icon

云海以全自研统一引擎为底座,提供块存储、对象存储、文件存储、并行文件存储、大数据存储 5种自研产品,支持标准x86或信创存储服务器;已在京东公有云上规模使用,并以纯软授权、软硬一体机方式独立输出。

icon云海产品能力分析icon
全自研
基于京东10+年在存储产品上的积累,针对新硬件的不断发展和传统存储架构不足,全新自研新一代存储引擎,充分满足存算分离、AI训练等新兴场景趋势的需求
高性能
基于全自研架构及京刚芯片加速,云海在公有云生产环境上做到单IO延迟100μs;云海-块存储性能指标:单实例百万IOPS下平均延迟 <200μs;性能接近本地NVMe磁盘
高可用/高可靠
与传统分布式存储架构不同,云海采用全追加写的新架构模式,保障了多副本强一致性,100% 写高可用,多机房高可用 / 精细化流控 / 副本故障下高可用性
低成本
块存储支持1.5 副本生产级EC,对象存储低至1.1x 副本的存储方式,对QLC-SSD 友好的架构设计,使QLC-SSD能大规模应用于高性能场景的生产环境;官方认证为国内最大规模使用QLC的云厂商
icon云海与传统分布式存储对比icon

与传统分布式存储架构相比,云海存储构架在 性能、可用性、可靠性、体验 有明显优势

icon云海产品能力 – 交付方式icon
传统硬件厂商
传统硬件厂商基本以绑定自家硬件的方式售卖,以售卖硬件为目标。客户有硬件绑定的风险。
云海存储
同时支持纯软授权,软硬一体方式交付。除部分配件有建议选型外,不强制硬件选型,可以支持更灵活多样的服务器配置,客户原有服务器也可利旧使用。
icon存算分离的需求、趋势、难点icon
存算耦合缺点
资源浪费:不同时期对存储和计算的需求不同,绑定两者需要同时对两种资源进行扩展或收缩,会造成资源的明显浪费 使用效率低:两者绑定下的扩展,通常会伴随存储迁移大量数据,导致使用效率低 应对突发难度大:突发用户访问,超高并发下单等需求对计算资源的需求会爆炸增长,存算耦合扩容会使得扩容成本巨大,同时大促过后对于资源的释放将会造成大量新增机器闲置
存算分离难点 – 高性能存储需求
本地NVMe 磁盘读写延迟在100us 左右,单盘随机读写 IOPS在 20万。传统分布式存储的性能与本地NVMe 磁盘相差太多,存算分离后中间件会有很大性能损耗(50%以上,最差场景下降低75%)。
icon云海 – 释放存算分离价值icon
icon云海 – 释放存算分离价值icon
icon云海存算分离实践:京东云 RDS & ESicon

存算分离收益:由原来多个业务 孤立资源池,拉通到一个全局共享的弹性资源池;计算资源利用率明显提升,存储资源利用率提升到 80%以上。

icon云海存算分离实践:京东云原生数仓icon

存算分离数仓,极低的使用和运维成本

共享存储
可大幅降低存储的成本,双副本架构下可降低存储成本72%
按数据需求扩容
存储的可真正按需使用,自动扩容,提升运维自动化,进一步降低使用成本。
自动伸缩
闲时自动释放资源,忙时自动扩容,根据业务负荷动态调度资源,降低用户资源和运维成本。比如白天查询分析高峰按时或按需扩容,晚上定时/闲时释放资源。 (Snowflake特性之一)
资源精确匹配,从容应对突发
无须一开始创建大规模的集群,只需创建跟业务量适配的资源即可,资源不再空闲与浪费。
icon云海存算分离实践:京东云原生数仓icon

存储资源利用率由原来30+%提升到 80%以上,支持根据用量按需扩容,避免阶梯扩容的资源浪费

icon京东 AI 训练产品与场景icon
icon极速型文件存储与 AI 训练icon

场景挑战:在自动驾驶的大规模 AI 训练的场景下,数据读写的性能会直接影响训练效率。AI 场景下的数据访问特性主要表现在:海量小文件,由于训练任务需要的文件数量都在几亿到十几亿的量级,同时,由于很多训练模型都是依赖于图片、音频片段、视频片段文件,而这些文件基本上都是在几 KB 到几 MB 之间。读多写少,在大部分场景中,训练任务只读取文件,中间很少产生中间数据,即使产生了少量的中间数据,也是会选择写在本地,很少选择写回存储集群。目录热点,由于训练时,业务部门的数据组织方式不可控,很有可能用户会将大量文件存放在同一个目录,容易导致多个计算节点在训练过程中,会同时读取这一批数据,这个目录所在的元数据节点就会成为热点。

产品优势
基于云海的极速型云文件产品,支持弹性可扩展的元数据管理系统,小文件规模可达 千亿;受益于云海存储引擎的性能,目前单文件实例最大吞吐可达 20GB/s ,IO 处理能力可达 200万。 目前京东集团所有关键训练业务都运行在极速型云文件系统上。产品高性能、灵活扩展的能力有力的支撑了业务增长带来的大容量和高性能的需求,并经历了多次 6.18 /11.11 大促考验。
icon云海对象存储 – 产品特点icon
icon云海特点 – 多机房机制icon
icon音视频、图片存储客户案例icon
核心场景:京东云对象存储服务基于京东集团十几年以来成熟稳定的底层架构,历经618及双11等大促考验。目前系统在京东内部已经承载了零售、科技、物流、广告、大数据等1200个以上部门的关键数据,为京东业务高速增长提供了坚实的保障。京东云对象存储作为京东商城存储基础设施,为商品主页视频、详情图片及视频、用户评论视频等提供海量、安全、低成本的存储服务。并应用跨区域容灾与备份,用户存储数据在对象存储的数据可以通过的跨区域复制功能实时同步其他地域,实现数据异地容灾,用户在应对极端灾难时,保证业务流畅,同时为重要数据加上多重保险。
icon音视频、图片存储客户案例icon
核心场景:联通沃云盘是联通在线的重点电信增值服务项目,目标是能够做出国内前列的云盘产品。客户早期基于开源 Ceph 构建,存储系统的上传下载都有明显瓶颈。因此希望能够借助合作伙伴在云存储技术上的能力,获得高可靠、低成本、高性价比的存储解决方案,迅速拉近与市场上云盘竞争对手的差距 解决方案:京东云对象存储在大并发情况下的上传下载性能,吞吐量、带宽都有良好优化,超过开源 Ceph。在架构设计上,对元数据管理、磁盘故障处理有设计优势,可以支持存储千亿级小文件,并保障业务连续性和数据可靠性。支持副本+EC的数据冗余机制,具有较高的成本优势,且在京东集团内部有大规模落地应用,且经过多次大促洪峰考验。经过客户生产验证,整体性能超过客户原有预期。
icon金融类场景案例icon
核心场景:京东云对象存储也是京东金融存储基础设施,为白条、支付、保险、基金等业务提供海量、安全、可靠的存储服务(合同、协议、证件、人脸)。同城多机房数据容灾,机房故障时京东金融业务不受任何影响,保证业务流畅。数据存储使用国密SM4加密(支持银联卡支付信息安全合规标准、第三方支付行业数据安全标准)

产品推荐

阿里云云安全中心(态势感知)
云安全中心是一个实时识别、分析、预警安全威胁的统一安全管理系统,通过防勒索、防病毒、防篡改、合规检查等安全能力, 帮助用户实现威胁检测、响应、溯源的自动化安全运营闭环,保护云上资产和本地主机并满足监管合规要求。
免费试用
查看详情
芯盾时代 生物安全在线认证BSC
芯盾时代生物安全在线认证Biometric Security Certification(BSC)采用云端本地双向验证,结合IFAA和在线设备ID技术,通过服务器与手机端建立的双向加密通道,提高本地验证的安全性。同时在终端设备上采用白盒加密算法,对在支付场景下的关键数据加密,实现了人与设备、账号的强绑定,通过向前整合生物识别能力,向后整合安全终端与服务端建立安全链路,为用户提供安全、便捷的生物认证产品。
免费试用
查看详情
融安云网低代码开发平台
融安云网低代码平台致力于帮助用户以低成本、短周期、高效率的方式实现各类数字化应用。提供基于云计算特性和能力的快速应用程序开发和部署工具,帮助用户简便、高效地完成应用系统的搭建,满足不同类型、不同阶段客户的数字化管理需求。
免费试用
查看详情
百家云SCRM一站式客户运营管理平台
百家云SCRM一站式客户运营管理平台,通过SCRM客户群发引流,企业可开展“ 直播带货、会议、大小班课”等多种形式的直播,客户成交后,教培企业通过网校互通进行班级管理、课程学习、模拟考试。通过线上线下投放,对客户进行多场景、多种类微信二维码引流,一码多用。
免费试用
查看详情