构建数据标准体系,结合数据模型管控,从源头到指标的端到端治理,配合质量管控体系,实现资产自动盘点,最后通过数据仓库和服务,达到数据资产变现目的。
将DDM纳入开发投产流程中,使用平台提供的典型能力进行进行模型设计、开发测试和投产。2个关键阶段:1. 开发测试结束后的预投产阶段进行模型的评审,保证信息补全率和落标率。见下图的步骤9.2. 投产后的后督管理,报告投产后的模型不一致情况。见下图的步骤12.
通过对数据中台模型的管理,实现从孤井式的代码开发,到模型驱动的代码开发阶段的转变。实现了模型驱动的数据模型资产化,开发过程可审查,代码质量可靠性等转变,使中台成为企业数据资产的沉淀和发布中心,进而形成行业模型的影响力。
元数据:是指对数据资产进行汇总、描述、分析并提供可视化血缘分析、影响性分析能力,实现更方便检索、使用或管理的结构化数据。元数据是数据资产共享和交换的基础与前提,可以被视为公司信息资源地图,指引信息资源的获取与访问,从而提升公司数据资产的可用性。
支持企业复杂异构数据源的智能采集,可根据业务需要扩展元数据属性,支持元数据采集配置以及周期性调度作业,调度作业状态查询;自动监测版本生成差异报告;基线模型绑定,任务监控,生产库事中校验;支持质量分析与关联分析等,并支持结果导出。支持API对接。
Datablau 血缘解析工具可以形成表级和字段级的数据血缘关系信息,可以追踪完整链路来源,可视化的呈现数据的完整的流转关系,同时支持人工的完善与修正。
支持多角度、多维度的展现元数据详细信息,包括基本信息、字段信息、采样数据、血缘关系、知识图谱、API接口服务信息、数据质量信息、变更历史、评论信息
基于Datablau DAM的元数据库和模型库,应用模型自动比较引擎功能,将模型库中设计态模型与元数据库中运行态模型进行比对,获取模型差异,及时发现“模型两张皮”情况,并通知相关方处理“两态模型”不一致问题。
数据标准设计思路 – “从无序到有序”,建立基础数据的标准规范体系。
使用无监督机器学习算法进行语义识别,建立标准相似度模型,计算相似度估值,进行批量推荐。通过机器学习等智能算法盘点数据之间、数据与标准之间、标签与数据之间的关联关系,通过自动化盘点智能推荐元数据标准。
根据聚合算法,基于元数据扫描,自动归类相似度高的属性并智能提取数据标准,自下而上快速搭建结合实际数据情况的标准体系。
数据标准落地到系统,周期性检验数据标准落地到元数据中情况,对数据标准落地情况进行评估,自动盘点核标情况并跟踪问题。
通过API接口的定义和管理,为数据服务的自助取数用数提供便捷
DDM是数语科技2020年发布的数据模型管理工具,实现经典范式和维度模型建模理论,统一管理模型资产。通过D3把模型开发,数据开发,数据运维进行一体化管理,同时将数据治理更深的融入到具体开发工程化中,让数据仓库更规范,更可控,质量更高。
通过创建好的指标,查看分析指标所对应的血缘情况,明确知道指标来源于哪里,由哪些指标计算得到,同时支持样式的切换。