DataValid 兼容多种数据源类型, 通过单表校验规则和多表比对规则两种类型的选择, 满足日常不同的数据校验诉求。配置的规则可通过多种调度方式实现数据的校验。系统会根 据配置的规则内容, 自动生成质量分析报告, 辅助问题分析。 对于校验不满足规则的数据, 产品可实时发出告警信息, 及时发现问题。
规则配置 对于接入平台的数据源,通过配置不同的规则类型,即可完成相应的校验需求。单表校验规则——适用于对单张表中的结果数据进行质量校验。目前单表校验支持四种规则类型:表级规则——通过监控表行数评估数据是否正常产出字段级规则——支持二十余规则函数评估数据产出的完整性、准确性数据格式校验—— 自动校验数据格式如身份证、手机号、邮箱等类型, 来评估数据产出的有效性自定义SQL——对于复杂校验逻辑, 支持自定义SQL编辑校验逻辑多表比对规则适用于数据迁移、 代码优化、BI数据验证等场景。通过比对两张表的数据一致性, 及时发现数据差异。
系统内置多种统计函数
自定义 SQL 规则
对于需要复杂计算的数据结果校验, 系统支持用户自定义 SQL 编写计算逻辑, 然后对 SQL 的输出结果进行结果校验。