腾讯云数据仓库TCHouse-D
首页
腾讯云数据仓库 TCHouse-D 产品概述腾讯云数据仓库 TCHouse-D 基于业内领先的 OLAP 数据库 Apache Doris 内核构建，兼容 MySQL 协议，并融合云上大数据生态，提供丰富的集群管控能力及完善的巡检告警体系，为客户提供简单易用、轻松运维的云上全托管服务，助力客户快速进行实时 OLAP 数据分析。
简单易用
开箱即用、标准SQL、兼容MySQL协议。
极简运维
整体架构简洁、FE/BE均可水平扩展、系统自动进行数据重分布。
安全可靠
全托管服务，SLA保障，FE节点高可用部署，数据多副本管理。
生态兼容
具备TCHouse-D on Hive/ES/lceberg/Hudi能力、兼容MySQL
协议等能力。
腾讯云数据仓库 TCHouse-D 技术架构Backend（BE）：负责数据存储、查询计划的执行。
BE 和 FE 之间通过一致性协议来保证服务的高可用和数据的高可靠
腾讯云数据仓库TCHouse-D在大数据产品矩阵的定位
腾讯云数据仓库 TCHouse-D 产品核心优势
产品优势：生态丰富，支持多种数据源，兼容MYSQL及大数据生态
产品优势：简洁易用，便捷集群管理，大幅节省运维成本全托管产品
全托管云上服务，控制台快速创建集群，可按需定制集群配置。
简单易用
高度兼容MySQL协议，可以直接使用任意MySQL客户端、BI工具。
安全提效
· 精细化权限管理，可视化安全审计。
云上全托管，轻松运维
资源灵活伸缩
· 控制台快速实现集群水平扩缩容、垂直升降配等操作。
数据自动重分布
FE/BE均可水平扩展，且系统自动进行数据重分布。
强大的运维能力/工具
· 可视化参数配置
· 集群健康检查
· 完善的监控告警体系
· 日志检索
· 慢查询管理及 Profile 查询分析
产品优势：功能完备，满足多种业务数据分析场景
1、多维分析
TCHouse-D支持上卷、下钻等多维操作、支持多表复杂join，支持数据预聚合，提升查询效率。
2、实时更新
TCHouse-D支持数据实时写入与更新，搭配Oceanus实时流处理，或订阅Kafka，可搭建完整实时数仓解决方案。
3、湖仓一体
通过多源数据目录，读写 hive/ iceberg / hudi / es / MySQL内的数据，统一查询，加速查询效率。
通过使用分区裁剪，预聚合，谓词下推，向量化执行，异步RPC等技术，TCHouse-D可支持高并发点查场景
产品优势：高效列式存储引擎，结合多种加速方式实现极致查询性能
· 多种编码方式和自适应编码：如INT 类型使用的是BitShuffle的编码，字符串类型使用字典编码。
· 支持多种数据压缩方式（LZ4、ZSTD），3~8倍数据压缩比。
前缓稀疏索引：快速定位起始行。
Min Max索引：等值/范围查询快速过滤。
用户自主选择的二级索引
Bloom Fillter索引：高基数上实现等值查询
Bitmap 索引：基于Bitmap位图快速精确查询
· 第一层分区（可选）：Ranger分区、List分区
预聚合
· 物化视图
· Rollupe。
· 基于MPP的火山模型，多节点间并行数据处理。
全面向量化
· 向量化：一次对一组值进行运算
· 充分提升CPU利用效率，SIMD指令加速计算效率。
亮点功能：联动腾讯云上生态，快速进行数据接入及分析打造 WeData InLong +TCHouse-D 关键数据链路的可用性和稳定性，无需进行 SQL/代码开发，可视化、向导式实现数据的实时同步。
亮点功能：精细化数据权限控制，可视化SQL查询标准SQL进行数据查询。
亮点功能：数据查询、用户操作、作业/集群日志可追湖审计
亮点功能：一键数据备份恢复，一键跨集群迁移支持切换数据备份的存储桶；
跨集群数据迁移
支持跨Doris集群一键数据/元数据迁移；
支持COS数据迁移。
亮点功能：慢查询监控，可视化查询分析Profile，高效业务调优
亮点功能：丰富的集群+业务监控告警指标，常用指标一键关注120+ 监控指标，全面覆盖BE、FE、及业务监控指标；五大分类，查找更方便；重点指标一键关注，更聚焦。
集群监控，直观定位问题；
亮点功能：支持集群健康检查，主动进行预警并给出处理建议资源预警：集群负载持续超过80%，磁盘使用率持续超过90%6 状态告警：节点失活；指标预警：核心指标数值异常等。
异常告警 + 实时巡检，降低 80%+问题升级，减轻对业务影响实时巡检，问题提前发现。
客户专项支持群 + 工单体系，保障问题解决效率群聊/工单，问题快速解决。
2.0内核新功能：新优化器及Pipeline说明
注：2.0的新优化器(CBO)不完全兼容1.2的老优化器(RBO)，比如：decimal字段精度不同等，所以若有升级诉求
建议方案：客户新建一个2.0新集群，将【1.2老集群】的历史数据迁移至【2.0新集群】，在2.0新集群完成业务适配后，再将业务切换至【2.0新集群】
注：也可支持在【1.2老集群】进行原地升级，不过升级后有可能会存在兼容性问题，影响业务。
2.0内核新功能：倒排索引
2.0内核新功能：行存效果及使用限制说明在列存基础上，增加隐藏列，把一整行的数据通过JSONB编码存到这个隐藏列中，实现数据行存。
使用前提：
· 目前行存模式只支持unique模型的MOW表；
· 需要开启行存："store_row_column"="true；
· 表属性需要开启轻量级 Schema Change；
· 需要关闭新优化器；
· 询条件必须包含全部主键(unique key)。
在开启行存模式后，查询语句符合条件时，查询并发最大可提升20倍+（单节点QPS最大可上万）；
使用限制：
· 是否开启行存建议在建表时设置，建表后再调整（类似schemachange）耗时很长。
产品新特性：2.0内核支持跨AZ高可用（开白使用）· 开启跨AZ高可用时，推荐FE同时开启“读写高可用；
· 提醒：购买三可用区集群前，建议提前check三个可用区的资源。
· FE的Observer最少2个，会平均分布在3个AZ下，保障每个AZ下至少存在1个Follower或iObserver。
· BE节点是3的倍数，数据副本强制指定为3 -- 每个AZ的BE数相同，且每个AZ下都存在数据副本，保障数据高可用。
产品新特性：2.0内核支持资源隔离建议使用场景：
· 多业务有资源隔离诉求的场景
· 离在线一体的场景
产品新特性：2.0内核支持数据冷热分层（开白使用）数据降冷可支持2种降冷策略：
· 将超时未更新的老数据降冷(TTL降冷)：关联此策略后，超过“降冷TTL时间未更新的老数据将降冷存入对象存储COS，新数据还会继续热存在BE节点中；
产品新特性：2.0内核支持一键开启湖仓一体除支持通过Multi-Catalog查询Hive、lceberg、Hudi等外部数据源外，TCHouse-D 协同 DLC 进一步对湖仓联动链路进行了优化，只需要进行简单配置，即可打通DLC，实现对湖中数据的查询加速，支持查询 DLC 的托管表及外表，较DLC直连查询有 5-8倍性能提升。
备注：
1、不支持跨地域联邦DLC，请合理规划环境，确保 TCHouse-D、DLC 在相同地域及相同VPC
2、当前仅支持查询DLC，暂不支持将数据回写至DLC。
腾讯云数据仓库TCHouse-D应用场景独特优势：简单易用、功能完备、极致性能、生态兼容
行业：电商、零售、教育、游戏、物流...
应用场景：实时OLAP查询数据的写入实时OLAP查询可包括:运营报表、即席査询、可视化大屏等场景，此场景 更关注数据的亚秒级查询返回，可以是多种类型的（实时写入、离线批写入、离线/实时共同写入）。
基于实际业务场景选择合适的 表模型，并结合 索引、Join优化、Rollup等关键特性 可有效满足客户诉求。
数据写入推荐
离线数据写入：Broker Load/Datalnlong
关键技术
聚合模型：提前预聚合，提速固化报表查询；
应用场景：端到端实时数据分析此场景关注 端到端 数据的秒级/分钟级延迟，要求数据可实时写入及更新 + 实时结果返回。基于此诉求，可结合云上Oceanus、Datanlong 等工具，基于TCHouse-D 支持数据实时写入及更新的能力，实现用户业务/行为数据的秒级入库，并结合 TCHouse-D 超高的査询性能（索引、Join优化、Rollup等），实现数据的亚秒级查询。
· 实时数据写入推荐MySQL数据同步 / Filter：Datalnlong
关键技术
· Unique模型：业务数据实时更新
应用场景：用户行为分析用户行为分析是企业了解用户的重要方式之一，可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验，通过对用户行为埋点数据进行分析，可以详细、清楚地了解用户的行为习惯，从中发现用户使用产品的规律，以用于精确营销、产品优化，从而驱动业务实现增长。腾讯云TCHouse-D 可通过 明细模型、丰富的行为分析函数、Bitmap函数 等快速支持用户行为分析。
数据写入推荐
仅做数据同步/Filter：Datalnlong
关键技术
支持大批量数据实时写入；
明细模型：详细记录用户行为；
应用场景：用户画像及人群圈选用户画像是指通过对用户的行为、兴趣、偏好等多维度数据进行分析和整理，形成对用户的综合描述和特征概括的过程。人群圈选是指根据一定的条件和规则，从用户群体中筛选出符合特定标准的人群。腾讯云TCHouse-D 可通过 主键模型、Light Schema Change、Bitmap正交位图 等快速支持支持用户画像/标签的创建及更新，以及人群的圈选及去重。
数据写入推荐
· MySQL数据同步/Filter：Datalnlong
关键技术
应用场景：广告归因分析一些游戏厂家或发行商经常通过广告投放的形式，在某一时间内在各大渠道集中曝光，从而达到引导玩家下载、注册游戏的目的。基于此场景，游戏公司可通过Oceanus、Datalnong等工具，将各渠道广告点击数据和业务库中的数据实时同步到云数据仓库TCHouse-D中，进行复杂多表关联分析，实时获知广告投放效果，提升广告投放的精准度。
数据写入推荐
MySQL数据同步/Filter：Datalnlong
关键技术
· Unique模型：业务数据实时更新；
应用场景：数据湖查询加速腾讯云 TCHouse-D 具备强大的数据湖分析和联邦数据査询能力。一方面可通过 Broker Load、Spark load、S3 load快速将湖中数据导入 TCHouse-D 实现数据的热存储及査询加速；另外可通过 多源数据目录（Multi-Catalog）功能直接对Hive、lceberg、Hudi等湖中数据进行查询，无需数据移动即可实现数据的査询加速。
数据写入推荐
对象存储写入：S3 load
Multi-Catalog联邦及查询加速
· 可视化Catalog注册
· Catalog数据权限控制
应用场景：日志检索分析（倒排索引+数据冷热分层）(2.0内核)Doris 2.0 内核新增了倒排索引、数据冷热分层等新特性，结合Doris内核的数据高压缩比（3-8倍）特点，可有效支持日志的检索分析，并实现日志存储的大幅度降本。
数据写入推荐
方案1：通过Logstach写入
方案2：kafka -> Inlong ->TCHouse-D
关键技术
倒排索引：支持全文检索、等值/范围查询
存储降本：热数据压缩比3-8倍，冷数据进入对象存储COS，可有效实现存储降本
动态Schema：灵活适配Json数据格式变更(2.1)
客户案例：某金融行业客户客户主营金融保险，使用TCHouse-D搭建实时分析平台，支持BI系统、画像系统、营销系统，应用于理赔、财务营销分析、风控、投放分析等业务。
客户案例：某教育行业客户主营职业教育，在教职领域影响力高，使用TCHouse-D支持在线视频课程业务，如学员上课统计、在线答题等。
客户案例：某游戏行业客户游戏业务客户，新游戏业务上线会给渠道投放广告，期望能够对广告投放效果进行实时分析，提升广告投放的精准度，期间会涉及对十数张表的关联分析，之前使用的MySQL性能无法满足客户诉求。
客户案例：某出行行业客户出行业务客户，之前在华为云上自建Doris，通过Flink将业务数据写入Doris，以满足业务经营可视化分析、司机端信息查询、实时营销（用户标签）等场景需求。
客户案例：某通用SaaS服务客户客户对外提供企业级SaaS服务，之前使用阿里云ADB来做数据分析，包括：业务报表、门店运营数据统计和分析报表，例如日结单、排队人数、营收情况等，数据来源于MySQL和MongoDB。
产品推荐
