icon云数据仓库Doris在大数据产品矩阵的定位icon
icon云数据仓库CDW Doris 产品概述icon

云数据仓库CDW Doris:100% 兼容开源Apache Doris,是一款支持在线业务和多维分析的实时数仓产品,整体架构简洁易用,助力企业快速构建云上数据分析平台。

产品特点
简单易用
开箱即用、标准SQL、兼容MySQL协议。
极简运维、弹性伸缩
整体架构简洁;FE/BE均可水平扩展,且系统自动进行数据重分布。
安全可靠
全托管服务,SLA保障,FE节点高可用部署,数据多副本管理。
生态兼容
具备Doris on ES、 Iceberg External Table of Doris、兼容MySQL协议等能力。
icon云数据仓库CDW Doris产品核心优势icon
生态丰富
兼容MySQL,兼容丰富的周边生态组件,多种数据导入方式,具备Doris on ES、 Iceberg External Table of Doris等能力。
简洁易用
通过控制台分钟级创建 CDW Doris 集群,并拥有完善的集群运维管控、监控告警等功能。用户无需关注底层基础设施,通过SQL语句便可专注于数据价值的分析。
功能完备
拥有完整的MPP分布式查询框架,支持单表聚合和多表Join。独特的数据模型,支持数据预聚合、实时更新和删除。覆盖OLAP多维分析、实时数据分析、高并发查询、统一查询等众多场景。
极致性能
Doris数据预聚合的特性减少了查询数据的扫描量,从而提升了查询性能。向量化的引入,充分利用了 CPU 的 SIMD 指令,极大提升了查询性能。
icon产品优势-高度兼容MySQL,兼容大数据生态icon
MySQL
高度兼容MySQL协议,使用标准SQL。所有对MySQL生态友好的传统数仓业务,Doris都非常适合承接,可以直接融入到数仓生态中使用。
Hadoop
Doris不依赖其他组件,但兼容Hadoop体系,例如Flink、spark、kafka、ES、Hive等,非常适合简化数据链路,降低运维成本,并能够进行hadoop数仓加速。
icon产品优势-优秀的数据导入能力icon
多种数据源 & 多种导入方式

Stream Load(本地文件)、Broker Load(HDFS数据)、S3 Load(对象存储COS)、Routine Load(Kafka 数据)、Flink Connector(支持exactly-once) 、Spark Connector 、MySQL数据、写入、使用DataX导入、从 Logstash 导入。

Doris + Oceanus/Wedata

支持通过Oceanus实时写入doris,具备低代码ETL、分库分表、整库同步等能力,通过WeData实时写入(预计9月支持)。

结构化/半结构化

支持结构化和半结构化数据,目前已经支持json格式导入。

icon产品优势-跨源数据融合,联邦查询icon
Doris on ES
Doris可以读取 Elasticsearch中存储的数据,为Elasticsearch提供强大的分布式SQL查询层。
Doris on Hive/Iceberg/Hudi
支持hive外表、iceberg外表,帮助企业完成湖仓一体架构。
ODBC/JDBC数据库
支持外表方式查询
支持ODBC/JDBC协议的所有数据库
icon产品优势——简洁易用icon

极致产品体验,开箱即用,0成本运维

轻松上手
全托管产品:全托管云上服务,控制台快速创建集群,可按需定制集群配置。内核架构简洁:架构简洁,易扩展,使用便捷, FE/BE均可水平扩展,且系统自动进行数据重分布。高度兼容MySQL协议,可以直接使用任意MySQL客户端、BI工具。
0成本运维
弹性伸缩:控制台快速实现集群的水平扩缩容、垂直升降配等操作。集群基础运维:生命周期管理,参数配置,监控告警,日志检索。智能运维:账户权限,备份恢复,查询管理,冷热分层。
icon产品优势——功能完备icon
多维分析
Doris支持上卷、下钻等多维操作、支持多表复杂join,支持列存储和数据预聚合加速查询效率。
实时分析、实时可更新数仓
Doris的更新模型,支持实时的数据更新删除。配合flink实时写入和更新,或订阅kafka,实现完整实时数仓链路。
离线Hadoop湖仓加速
通过外表方式支持读写仓/湖/es内数据,替换impala/presto,可以对架构进行优化,并提高大查询的吞吐能力。
高并发查询
通过使用分区裁剪,预聚合,谓词下推,向量化执行,异步RPC等技术,Doris可以支持高并发点查场景,100台集群可达10w QPS。
icon产品优势——极致性能icon
预聚合
通过物化视图或上卷表的形式对数据预聚合计算后的结果进行存储,从而加速聚合类场景的查询效率。
向量化
向量化查询效率提升数据
3-5倍查询性能提升
列存
列式存储,按列进行数据的编码压缩和读取,能够实现极高的压缩比,同时减少大量非相关数据的扫描,从而更加有效利用 IO 和 CPU 资源。
现代化 MPP架构
可扩展,多副本自动均衡。
icon云数据仓库CDW Doris 架构-精准命中中小规模客户对实时数据分析的诉求icon

FE负责元数据管理、查询的编译与分发、管理客户端连接等工作。FE高可用部署,包含:FE Leader/FE Follower/FE Observer三种角色。通过Paxos协议选主和主从同步元数据信息。FE的节点数为2n+1。BE 主要负责数据的存储、查询计划的执行,以及compaction,副本管理等工作。现代MPP架构,支持弹性伸缩。基于raft协议的分布式存储,支持数据自动均衡分布。多前端分布式元数据,高可用架构。多副本高可靠。

icon云数据仓库CDW Doris 内核版本升级icon
icon云数据仓库 Doris 版 vs 开源自建 Dorisicon
icon云数据仓库CDW Doris应用场景icon
OLAP多维分析
用户行为分析
用户画像、标签分析、圈人
高维业务指标报表
自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析
实时数据分析
电商大促数据分析
教育行业的直播质量分析
物流行业的运单分析
金融行业绩效分析、指标计算
广告投放分析
管理驾驶舱
探针分析APM
高并发点查
广告主报表分析
零售行业渠道人员分析
SaaS行业面向用户分析报表
Dashboard多页面分析
统一分析
通过使用一套系统解决多维分析、高并发查询、预计算、实时分析、Adhoc查询等场景,降低系统复杂度和多技术栈开发与维护成本。
icon应用案例:小米 - 增长分析平台实践icon

场景:利用用户行为数据对业务进行增长分析和精细化运营;增长分析查询非常灵活,涉及分析的维度多;决策具有实时性;业务发展迅速,需要增加新的分析维度。需求:需要存储和计算明细数据,需要一套支持近实时数据摄取,可灵活修改schema和即席查询的数据分析系统解决方案。痛点:灵活性差:小米已有的统计平台无法支持灵活的维度交叉查询,数据查询分析效率较低,复杂查询需要依赖于研发。成本高:单独搭建存储层和计算层组件(impala/presto依然需要依赖外部组件)。性能差:SparkSQL是基于批处理系统设计的查询引擎,在每个Stage之间交换数据shuffle的过程中依然需要落盘操作,完成SQL查询的时延较高。

icon应用案例:京东 – 双十一icon

头部B2C电子商务公司,在广告、零售、物流等业务中均大规模使用Doris,其中,广告平台每天支撑千万级以上的查询量,每天百亿级增量。报表级查询毫秒级返回数据,场景主要包括报表查询、多维分析、日志分析等。

痛点
查询慢:查询速度慢,满足不了大批量毫秒级返回数据的需求。运维难:运维困难,难以保障。开发难:开发成本高;SQL兼容难。
解决方案
从Kafka进行导入,经过ETL层,导入到Doris中。历史数据导入任务存储在MySQL中。在京东双十一当天,承载8000万+查询。
icon应用价值icon
查询
双11当天承载8000万+的查询,TP99 58毫秒,TP999 164毫秒,峰值QPS达到4500+,压测阶段QPS达到万级以上。
导入
双11当天达到了120亿行的增量(聚合后的数据),峰值导入在2000万/分钟,所有事实表基本都可以做到秒级延迟。
稳定
内存、CPU平稳,11日凌晨也没有出现大规模上涨。集群规模达到上百台,整个大促期间没有Bug和事故。
icon创建集群:查看集群配置信息icon

在确认配置信息后,点击立即购买,便可以创建集群。新创建好的集群可在控制台中的集群列表进行查看。可点击集群名称,进入集群控制台,查看集群的实例信息。

icon访问集群:集群访问icon

CDW Doris提供集群访问地址,并且提供该集群内各节点的直连地址。CDW Doris不对外提供公网访问地址。

icon运维管理:集群监控icon

CDW 提供40余项免费的基础监控。

icon运维管理:日志检索服务icon

日志检索服务可在集群创建时勾选,或者在集群创建后添加。

icon数据管理:备份恢复icon

支持对数据周期性备份、立即备份、跨集群备份,并将备份数据恢复到当前doris集群。

icon查询管理icon
icon参数配置管理icon

支持白屏化KV模式修改,及XML模式修改,提供历史修改查询和版本对比。

icon账户管理icon
icon集群管理:升降配、扩缩容icon

CDW Doris支持对FE节点、BE节点的垂直升降配和水平扩缩容。

产品推荐 查看更多>>
    腾讯云游戏数据库TcapluDB

    TcaplusDB是腾讯云专为游戏设计的分布式 NoSQL 数据存储服务。结合内存和 SSD 高速磁盘,针对游戏业务的开发、运营需求,TcaplusDB 支持全区全服、分区分服的业务模式,为游戏业务爆发增长和长尾运维提供不停服扩缩容、自动合服等功能

    Cache与持久存储结合

    存储空间无上限,单表最大支持50TB,不停服扩缩容,支持全区全服、分区分服

    结合 Protobuf 提供灵活的数据访问,支持指定字段的访问与抽取, 节省带宽,降低成本

    过载保护;双机热备;每日冷备容灾机制,数据保留达30天

    腾讯云企业级分布式数据库TDSQL for PostgreSQL

    TDSQL for PostgreSQL 版是腾讯云自主研发的分布式数据库系统,集高扩展性、高 SQL 兼容度、完整的分布式事务支持、多级容灾能力 以及多维度资源隔离等能力于一身。其强大的安全和容灾能力,已经成功应用在金融、政府、电信、医疗等行业的核心业务系统。

    TDSQL PostgreSQL 版具备事务和分析混合处理技术

    支持诸多企业级特性,是去 O 的理想选择

    可以在控制台操作实例实现在线自动扩容

    内核支持三权分立的体系,提供数据透明加密,数据脱敏访问

    腾讯云数据仓库CDW ClickHouse

    腾讯云数据仓库CDW ClickHouse:简称CDW CH,100% 兼容开源ClickHouse,对海量数据提供高性能分析的全托管实时数仓服务。相较于传统大数据解决方案,对海量数据的分析性能有10~100倍的提升。全托管服务,开箱即用,SLA保障。

    100% 兼容开源ClickHouse

    提供高性能分析的全托管实时数仓服务

    对海量数据的分析性能有10~100倍的提升

    全托管服务,开箱即用,SLA保障