iconDataValid 数据质量校验工具 icon
 
DataValid—是一款对数据进行质量校验,帮助企业及时发现数据问题的工具。产品通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的及时性、完整性、一致性、有效性、准确性进行多维度评估, 保障企业数据服务。
iconDataValid 功能介绍icon

DataValid 兼容多种数据源类型, 通过单表校验规则和多表比对规则两种类型的选择, 满足日常不同的数据校验诉求。配置的规则可通过多种调度方式实现数据的校验。系统会根 据配置的规则内容, 自动生成质量分析报告, 辅助问题分析。 对于校验不满足规则的数据, 产品可实时发出告警信息, 及时发现问题。

规则配置 对于接入平台的数据源,通过配置不同的规则类型,即可完成相应的校验需求。单表校验规则——适用于对单张表中的结果数据进行质量校验。目前单表校验支持四种规则类型:表级规则——通过监控表行数评估数据是否正常产出字段级规则——支持二十余规则函数评估数据产出的完整性、准确性数据格式校验—— 自动校验数据格式如身份证、手机号、邮箱等类型, 来评估数据产出的有效性自定义SQL——对于复杂校验逻辑, 支持自定义SQL编辑校验逻辑多表比对规则适用于数据迁移、 代码优化、BI数据验证等场景。通过比对两张表的数据一致性, 及时发现数据差异。

数据源管理
数据源管理 支持多种数据源的数据质量校验,只需要通过JDBC 即可轻松完成连接。目前支持Hive、MaxCompute、 MySQL、Oracle、SQL Server、TiDB、Impala、 Greenplum 数据源。
项目管理
通过项目、角色、用户体系的管理,实现各个项目数据质量的独立管控、独立评估。

 

任务查询
平台会记录每个规则每次运行的实例信息, 自动生成规则监控报告、 表级监控报告、 错误明细数据等内容。 对于运行失败、 校验未通过等各类异常情况, 可及时发出系统提醒。
 
概览页
通过DashBoard的方式统计分析各类规则告警信息,如告警数、 告警趋势、 告警排行等,清晰明了地暴露出问题数据, 对全局的数据质量有足够的把控。
iconDataValid优势与特性—支持多种质量监控场景icon
适配多种数据源类型
DataValid目前支持市面上大部分数据源类型:Hive、MaxCompute、MySQL、Oracle、SQL Server、TiDB、 Impala、Greenplum。对大数据统计分析、业务系统的数据均可进行质量监控。
满足多种业务场景
对于BI报表数据的准确性验证、业务系统数据的生成监控,均可通过单表校验规则实现; 对于数据迁移、代码优化、计算逻辑验证等业务场景,可通过多表比对规则满足需求。
icon丰富的监控校验规则icon

系统内置多种统计函数

自定义 SQL 规则

对于需要复杂计算的数据结果校验, 系统支持用户自定义 SQL 编写计算逻辑, 然后对 SQL 的输出结果进行结果校验。

icon支持多种任务调度方式icon
远程触发执行
当配置的校验规则需要控制工作流时,可对配置的规则生成远程调用 API,避免错误数 据流入下游。比如配置了一张dwd层数仓表的校验规则,在下游某张dws层数仓表跑调度任务之前先调用该校验规则 API,如果校验结果未通过,下游任务不能执行。
本地周期执行
系统支持多种周期调度方式,小时、天、周、月、手动,可自由配置调度有效期及任务执行时间。对于执行未通过的任务,可通过邮件、 短信、 钉钉方式及时发出提醒。
icon产品性能参数icon

icon产品应用案例 数据质量监控平台icon
项目背景

某中部地区城商行,每日需要给总行业务部门、 全国分行展示近百张BI数据报表。这些报表的数据准确性要求非常高,因为一旦出现问题数据、或者相同指标数据却不一致的情况,很容易影响一线的业务决策,造成部门投诉。

项目目标

需要有个数据质量管理的工具,重点监控上述BI 报表数据,对数据的及时性、完整行、准确性、 有效性、一致性进行校验,每天凌晨系统自动完成数据质量校验,将问题以钉钉、邮箱、短信的方式提醒责任人,数据开发可在第二天上班之前完成问题修复。

解决方案

标准产品输出,主要应用单表校验规则。

产品推荐 查看更多>>
    村微数字乡村治理服务一体化平台

    村微数字乡村治理服务一体化平台依托企业微信政务版,精准助力县域打造云端 “数字乡村”管理与服务网络,融入丰富高效的基层应用,实现政务服务与信息的即时触达,打通数字乡村服务村民的“最后一米”。

    基层网格能力优化提升

    完善的组织架构

    轻量级应用矩阵

    全面提升基层治理效能

    能力开放平台

    云徙科技企业数字化营销平台通过在酒水、地产、快消等多个行业的灯塔客户应用和验证,形成了完整的企业数字化营销业务能力组件。面对企业数字化营销业务里日益复杂的需求,云徙能力开放平台让这一切变得简单。

    高效稳定

    功能完备

    腾讯云WeData数据湖计算DLC解决方案

    融合WeData打造基于DLC引擎的高性能、低成本、高安全度云原生一站式治理与开发产品解决方案, 满足离线、实时多种分析场景。基于WeData的统一调度能力,构建企业数据中台;通过产品间联动和提供便捷数据流动通道,满足用户不同诉求;同时借助数据湖提供的统一元数据管理视图,消除数据孤岛。

    高性能、低成本、高安全度云原生一站式治理

    满足离线、实时多种分析场景

    提供便捷数据流动通道,满足用户不同诉求

    借助数据湖提供的统一元数据管理视图