OceanBase 原生分布式数据库,采用单机分布式一体化架构设计,在弹性扩展、高可用、多活容灾、存储引擎、分布式事务、HTA P、多种主流数据库兼容性、多租户等多个方面都有关键性的技术突破,并在复杂而严苛的金融核心业务场景中久经考验。
OceanBase 使用普通服务器和数据中心网络组成的Shared-nothing 集群部署,无需基于专用网络环境的 SAN 存储设备。集群原生自动管理计算资源和存储资源的分配和动态资源均衡。支持弹性水平或垂直扩缩容,读写性能可线性扩展。所有服务节点都支持SQL计算和数据存储,每个节点自主管理所服务的分区数据。整个集群只有一种数据库服务进程,无外部服务依赖,运维管理简单。对外提供统一的数据库服务,支持ACID 事务和全局索引,对应用开发来说与单机无异。
容灾能力是关键业务系统的重要衡量指标,原生分布式在设计之初就假定硬件是不可靠的,每个模块的设计和实现都在细节处考虑容灾和主动防御。支持多个数据副本分散存储在不同地域,实现跨地域的容灾部署。在强一致事务的保护下,数据修改在多个地域保证成功提交,因此当灾难发生时,数据不会丢失,达到国家标准定义的最高级别容灾标准。高可用性是系统某些组件故障时持续提供服务的能力。OceanBase分布式选举协议在故障发生时进行自主选举。少数派节点发生宕机时,支持快速无损自动切换,达到RTO<30秒的自动故障恢复指标。基于Paxos协议和多类型副本能力,OceanBase支持多种适应于不同场景的故障容灾方案。
数据库内置多种强校验机制,能够自动发现多副本数据的不一致、网络数据错误、磁盘静默错误、索引与主表的不一致错误等,保证数据可靠
一般的分布式数据库在提供了水平扩展性的同时,往往牺牲了单机的性能。然而,在交互式的 OLTP业务中,单个事务的处理时延增加往往是不可接受的。这导致在许多场景下,单机数据库替换为某些分布式数据库后,即使业务性能指标不增加,也需要许多台分布式数据库节点才能支撑原有业务规模,造成成本不降反升。
单机部署性能与单机数据库相当
OceanBase 的单机分布式一体化架构,在单机部署时,性能与单机数据库相当,甚至比某些流行的开源单机数据库的性能更好。
当三机三副本部署时,相同的性能同时提供比传统主备库更好的高可用能力。
当节点机器规格提升时,提供了线性的垂直扩展性。
当每个 Zone 部署多节点时,提供了线性的水平扩展性。
特别地,在以下三种情况时,OceanBase 的查询和事务处理没有多机访问的开销:
当 SOL语句只涉及单机内的分区时,数据读写无需通过网络。
当事务只涉及单机内的分区时,事务提交没有分布式提交协议的开销。
当事务只涉及单机内的分区时,基于多版本并发控制的一致性快照读取无需远程访问全局时间戳服务。
单机分布式一体化架构,让OceanBase数据库能够适应从个人小站点到银行核心系统和巨型电商网站等各种规模的业务,用一个数据库产品伴随客户业务的成长
一套系统完成OLTP 与 OLAP 业务
企业级英勇的业务场景可以分为两个类别,联机交易和实时分析。我们通常称为 OLTP 和 OLAP 的业务应用。大型企业往往会选择多款数据库产品分别支持 OLTP 和 OLAP类的应用场景。这种组合式的解决方案需要数据在不同系统间进行流转,数据同步过程带来时间延迟和数据不一致的风险,多个不同的系统产生冗余数据,推高成本开销,往往会限制企业在激烈的市场竞争中快速调整业务。
一套系统支撑海量交易、海量分析
HTAP 混合事务与实时分析处理是行业强诉求,OceanBase基于分布式架构做好交易处理场景的同时,能够完成分析、跑批等分析性场景,一套引擎支持 OLAP + OLTP 工作负载,同时实现两套系统功能,成本将大幅降低。
OceanBase认为,真正的HTAP要求先有高性能的OLTP,然后在OLTP 的基础上支持实时分析。OceanBase通过原生分布式技术提供高性能的 OLTP 能力,真正通过“一个系统”提供同时处理交易及实时分析,“一份数据”用于不同的工作负载,从根本上保持数据的一致性并最大程度降低数据冗余,帮助企业大幅降低总成本。
混合负载下的资源隔离
针对混合负载场景中不同的资源隔离需求,提供多种资源隔离方式。包括使用多个Zone进行物理隔离,使用CPU 资源组隔离不同数据库连接。系统还会自动识别和隔离慢查询,避免它影响整体的交易响应时延。
低成本搬迁应用与数据
行业经过信息变化改革,各类业务系统运行在企业的各个角落,大量应用程序和解决方案基于传统数据库的能力设计。分布式数据库是面向未来的必然选择,但适配分布式数据库可能给企业应用迁移带来大量业务逻辑的修改甚至重构,如何降低改造成本?
应用兼容:支持Oracle 和MySQL
OceanBase 兼容开源生态的MySQL和商业生态的Oracle,客户可以在一套集群中选择创建MySQL兼容的租户或Oracle 兼容的租户。兼容范
围包括 SQL 语法、命令字、对象、使用习惯,兼容支持存储过程、C语言接口、预编译器等。应用只需要很小的改动,甚至无需改动,便可迁移至
OceanBase,为企业节约大量的人力和时间成本。OceanBase的Oracle兼容位居中国分布式数据库厂商第一,覆盖95%以上常见功能。
平滑迁移:0MA 评估,OMS 自动迁移
应用和数据迁移是个费时费力又“危机四伏”的过程,为了帮助用户解决这个问题,OceanBase提供:
OMA:在迁移前以报告的形式呈现所有可能的问题和改造建议,帮助客户提前评估,及时发现解决。
OMS:通过图形化方式实现数据自动迁移、可视化数据校验、迁移后支持反向同步,新系统可快速迁移回原来的系统,没有数据丢失也无需人工干预,极大的提高了迁移效率,保障迁移安全。
数据压缩是降低海量数据存储空间占用的关键手段。OceanBase高压缩比的分布式存储引擎,摒弃了传统数据库的定长数据块存储,采用基于LSM-Tree 的存储架构和自适应压缩技术,创造性的解决了传统数据库无法平衡“性能”和“压缩比”的难题,并基于数据日志分离方法的分布式存储技术,进一步降低存储成本,实现了高性能和低存储成本。基于LSM-Tree的存储引擎,利用编码压缩大大降低存储成本。
基于数据变长-定长的存储压缩技术
通过使用压缩率较高且解压缩较快的压缩算法对数据进行压缩,提高数据压缩倍率,减少数据的存储成本。同时由于LSM-Tree的结构特性,采用
读写分离设计和行级细粒度记录更新,变更数据保存在内存中,并批量写入到磁盘上。因此能达到内存数据库级写入性能和磁盘数据库的存储成本,
并消除了传统 B+Tree 的磁盘随机写瓶颈和存储空间碎片化问题,使得数据写入性能比传统的实时更新数据块的方式更高。
基于数据编码的存储压缩技术
采用行列混合存储格式,磁盘数据块按列组织,自研一套对数据库进行行列混存编码的压缩方法(encoding),使用行列的字典、差值、前缀等编码
算法,在通用压缩算法之前对数据做了编码压缩,从而带来更大的压缩率。
基于数据日志分离的低成本存储技术
传统的 Paxos 协议中,系统需要三个副本(五副本),OceanBase数据库将用户数据和日志数据分离,比如日志数据基于Paxos协议使用三副
本 (五副本)存储,而用户数据本身可以使用两副本(三副本/四副本)进行存储。在保障相同可用性的前提下,数据日志分离可节省
20%-40%的用户数据存储成本。
原生多租户架构,一个集群中同时运行多个数据库租户,每个租户可以视为一个独立的数据库服务。租户间数据和资源互相隔离,并且在集群内统一
调度。支持在创建租户时选择不同的兼容模式,每个租户可单独配置数据副本数量、副本类型,存储位置及计算资源等。
适合微服务架构
随着企业内业务系统越来越复杂,原来的单体服务在工程和管理上变的越来越不堪重负。使用微服务架构,新增和调整功能只需要增加新的微服务节点。但是每个微服务需要使用不同的数据库,数据库的数量大大增加,可靠性和运维管理都带来了挑战。使用OceanBase 多租户特性,管理员只需要运维少量集群,既能保证租户之间数据和资源互相隔离,又提升了数据库的稳定性。
适合多租户 SaaS服务
云上的 SaaS 服务商,往往提供的是多租户的服务。多个业务租户的数据库如果在一个单机数据库中做逻辑名字空间隔离,大小租户之间互相影响。如果每个业务租户使用一个独立的数据库,成本高,几十到上百套分散数据库环境,运维工作复杂,同时扩展性受限。使用OceanBase数据库内原生多租户,能更好地平衡隔离性和成本,而且大小租户可以独立扩缩容。
OceanBase为客户提供全场景、全形态的企业级数据库解决方案,产品体系包括企业版、公有云、社区版分布式数据库产品,支持独立部署、云服务和数据库一体机等多种部署交付形态。OceanBase 具备完备的数据库工具体系,支持客户数据开发、评估、迁移、运维、诊断等数据全生命周期管理,同时提供专业咨询和交付服务,满足不同企业、不同发展阶段对于数据库产品的不同使用场景的多种业务需求。
OceanBase 企业版(OceanBase Database)是一款完全自研的企业级原生分布式数据库,在普通硬件上实现金融级高可用,首创“三地中心”城市级故障自动无损容灾新标准,刷新TPC-C标准测试,单集群规模超过1500节点,具有云原生、强一致性、高度兼容Oracle/MySQL等特性。。
OceanBase在原生分布式系统架构设计上,以MySQL,Oracle 兼容性的能力为切入,满足客户的生态兼容诉求,通过逐步增强HTAP能力,为客户提供OLAP 与OLTP的最优HTAP融合解决方案。未来我们将一步演进升级到分布式一体化架构,每个分布式服务节点提供无差别的数据库服务,支持全局索引、强一致分布式事务、跨服务器复杂查询等能力,为客户在单机、集群、分布式、云化场景提供端到端的数据管理解决方案。
伴随客户业务逐步成长,满足多种业务场景关键诉求
OceanBase 公有云(OceanBase Cloud)是构建在阿里云、AWS等全球主流公有云基础设施上,基于完全自主研发的原生分布式数据库,提供弹性扩展、卓越性能、主流兼容的高性价比的数据库云服务。为客户在云上提供服务、弹性、监控、诊断、开发、迁移、备份、恢复的端到端数据库服务化解决方案。
关键能力
产品对比
核心特性
OceanBase 工具体系为 OceanBase数据库从替换前、迁移中和使用后的不同阶段提供全方位产品化护航,助力业务稳定增长。
OceanBase数据库一体机(OceanBase Data Machine,ODM)是基于OceanBase分布式数据库和自研可信硬件打造的软硬一体化产品,针对数据库业务软硬件深度性能调优,提供弹性扩展、高性能、高可靠、高安全、高性价比、智能管控和一站式快速交付部署能力。ODM支持全机柜和半机柜灵活配置,可造机架、交换机、硬件配件、监控软件等,提供一体化运维支撑和售后服务
产品特性
OceanBase 时序数据库(CeresDB),是基于OceanBase分布式存储引擎底座的时序数据库产品。用来存储和管理时间序列数据,提供高性能读写、低成本存储、可视化查询等功能,有效解决存储成本高,写入和查询效率低的问题,同时具备水平扩展和异地容灾的能力。适用于物联网IoT、运维监控、金融分析等行业场景。
产品优势
产品对比
行业现状与问题
存储不统一:根据不同业务需求和背景,用户往往需要组合使用多种数据库,如Oracle.MySQL、DB2等,多种产品运维复杂,资源和人力成本投入大。
实例数量大:传统的单体数据库不能横向扩容,不得不进行水平拆分成多个物理实例支撑,使得实例数多达几十上百甚至上千,对运维和稳定性提出严峻挑战。
资源成本高:随着实例数量与日俱增,软件授权费用节节攀升,成本高居不下。
使用碎片化:大量实例在不同场景对CPU/内存等使用率不同,有的实例资源捉襟见肘,有的资源大量闲置。资源无法“池化”,无法进行统一调度管理,存在严重的资源碎片浪费。
方案描述
借助 OMS,在不停机的情况下全站业务向OceanBase 实现高效快捷的迁移,业务仅需极少改造甚至零改造。
使用租户进行资源隔离,多个业务模块之间数据独立,按需透明升降配。
Ocea nBase 的大集群模式,将多个单实例整合到OceanBase集群中,进行统一管理,灵活调度,有效提高资源利用率。
通过 OceanBase集群强大丰富的Leader分布和读写路由策略,将蚂蚁集团多年沉淀的高并发最佳实践输出给用户。
通过 OceanBase 强大的智能管控平台,典型问题自动分析和感知,运维效率大幅提升。
方案优势
高压缩:基于 LSM-Tree自研存储引擎,采用数据编码与压缩算法,对比传统数据库实现超高压缩比,大幅降低企业存储成本。
高性能:无共享架构,分区级Leader打散,真正实现多节点写入,从容应对超高并发需求。领先的表组技术可将分布式事务优化至近似单机事务的
执行效率。
高兼容:一套集群同时支持Oracle 和MySQL两种兼容模式,覆盖包括SQL语法、存储过程、函数、C语言接口、预编译器等绝大多数特性,业务
迁移改造成本极低。
多租户:实现数据库内核级虚拟化,对CPU、内存、数据等资源提供隔离机制,并可以根据应用负载灵活配置租户资源占比,多个应用的不同租户共享
一个集群,有效提高资源密度,简化运维,降本增效。
强扩展;使用普通的 PC服务器即可构建超高吞吐的OceanBase集群,无需分库分表,任意按需扩展,为客户提供平滑的成本增长曲线。
行业现状与挑战
数据增长加速:面对快速增长的在线数据,尤其例如新零售、支付等订单和交易场景,数据往往多呈现为流水型特征,即写入一段时间后不会再次访问或更新。
成本高效率低:低频或零访问数据占用在线业务库的固态存储空间,造成大量硬件资源浪费,堆高企业IT成本,导致在线数据库体积臃肿,查询效率降低,给后续数据变更、扩展造成阻碍。
传统方案风险高:传统数据归档方案往往是业务研发或DBA采用脚本或简单的同步工具进行,难以在并发和效率上有效控制,很容易对在线数据库产生影响,严重的甚至导致生产数据误删事故。
运维管理复杂:多个业务对应的不同数据库、甚至不同表都可能有各异的归档周期和限定条件,会导致大量定时任务的逻辑维护复杂,耗时耗力。
方案描述
.基于 OceanBase对低端硬件的友好兼容,OceanBase历史库平台实现了归档任务配置图形化,周期管控自动化,数据迁移+校验+删除一键自动灰度执行等能力。稳定性方面提供了防导爆、智能限速、多粒度流控等机制,真正实现了数据归档的智能化运维。此方案历经蚂蚁集团核心业务场景验证,交易支付历史库单实例数据超过6PB,采用上百台大容量机械盘的低成本硬件支撑,磁盘水位自动均衡,平稳运行多年,节省了大量机器资源。
方案优势
可视化管理:任务创建与运行、进度大盘、一键暂停/恢复等基础操作图形化。
智能化运维:令牌桶算法限速控制、断点续传、任务调度自动化管控等机制,以及宕机自动替换、自动扩缩容、防导爆等自愈手段,实现运维零干预。低成本:大容量 SATA盘机型友好,结合OceanBase高压缩存储能力,单节点最大即可存储相当于传统数据库400TB数据。
海量存储:适用在线业务瘦身,真正做到为数据归档减负。历史库集群可作为大容量关系型数据库使用,能稳定支撑写入量巨大但低频访问的业务查询需求,如监控、日志、审计核对等场景。