科杰科技企业级数据底座解决方案_全域数据资产管理系统

科杰科技企业级数据底座解决方案

科杰科技企业级数据底座解决方案整体采用了湖仓一体化的先进架构，优化数据管理能力，充分融合数据湖和数据仓库各自优势，实现一套数据、一套任务在湖和仓之上无缝调度和管理。以湖仓一体、批流一体、存算分离、多模融合等技术创新，实现PB级多模数据存储与处理。

立即咨询

首页 > 产品中心 > 数据开发与治理 > 科杰科技企业级数据底座解决方案

企业普遍存在的数据场景问题 icon

激增的暗数据&数据孤岛
随着企业数据量激增和数据需求日趋复杂，越来越多数据技术 (如数据仓库、数据湖、NoSQL 数据库、OLAP 数据库、实时数据源等) 被引入，企业数据在物理上支离破碎，尤其是采用混合云&多云架构后更是加剧了这一问题。只有 45% 的结构化数据应用于业务，只有不到 1% 的非结构化数据被分析或使用，多达 68% 的数据没有被分析，多达 82% 的企业受到数据孤岛的阻碍。

低效的数据交付方式
激增的企业数据、爆炸的业务需求、复杂的数据工程，让业务自助找数、用数变得日趋困难：分析师 80% 的时间用于发现和准备数据，知识型员工将 50% 的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上、数据科学家花 60% 的时间清理和组织数据。

日益严峻的数据质量问题
企业中 55% 的数据无法用于决策，47% 新创建的数据记录至少有一个严重错误，数据质量差导致了巨额的财务损失；为解决不同数据计算和存储需求，企业开始采用越来越多的数据技术 (如数据仓库、数据湖、NoSQL 数据库、OLAP 数据库、实时数据源等) ，让实现“单一事实来源的数据”变得十分困难。

不断扩大的安全合规风险
超过 70% 的用户可以访问他们不应该访问的数据。而随着网安法、数安法、个保法、 GDPR、CCPA 等数据安全和隐私保护法律的出台和外部安全威胁越来越大，企业必须在合规和治理方面表现出更高的标准，更难的是，企业还需同时兼顾业务的用数效率。

企业普遍面临的数据困境 icon

一个完整的企业级数据底座形态构成 icon

以湖仓一体化为核心技术工程能力的KeenData产品，持久化提升企业数据能力 icon

KeenData Lakehouse构建企业级数据底座能力 icon

一个完整的企业级数据底座形态构成 icon

科杰科技数据底座KeenData产品矩阵 icon

●数据服务平台( Keen DaaS) ：大数据服务发布中心,无缝对接业务生产系统

●数据标签(Keen TAG) ：自助数据标签平台,实现用户分群分类,快速构建数据画像

●数据资产目录( Keen Asset) ：企业数据资产门户企业全域数据资产地图

●数据科学平台( Keen DSP) ：高度自动化、易于使用的机器学习算法平台,可拖拽可编程，双方式进行数据建模

●数据质管理(Keen DQM) ：按照质量六要素对数据进行质量评估和质量提升改进。

●主数据管理( Keen MDM) ：主数据统一管理中心,实现主数据的全生命周期管理管控

●数据指标管理( Keen Index) ：一站式企业数据指标管理平台，建立企业数据指标体系。

●数据标准管理( Keen DSM) ：数据标准管控中心,为企业数据标准化体系落地提供能力支撑

●离线开发平台( Keen BDP) : 一站式离线数据开发平台,离线数据的体系化处理中心

●实时计算平台( Keen Stream) ：实时计算处理中心,服务企业实时数据处理场景

●数据同步系统( Keen Dsync) ：多源异构数据源高性能、安全可靠的-站式数据同步系统

●大数据基础平台(KDP) ：多存储架构融合,全栈技术封装,高效、稳定的数据基础环境平台。通过一站式的大数据&AI能力产品，覆盖数据全生命周期（数据集成、数据治理、数据开发处理、数据资产管理、数据挖掘建模、数据服务），赋能客户一线互联网大数据技术工程能力，完备支撑万台节点、数千人高效协同的大数据&AI基础设施，以及IT团队未来5-10年大数据和AI项目的持续规模化构建，实现各行业数据能力的快速构建与落地。

一个完整的企业级数据底座形态构成 icon

全域数据资产体系 — 数据资产体系建设路径 icon

科杰科技通过多年的大数据综合实施经验，总结出了一套通用的大数据实施方法论并基于这套方法论构建统一、规范、可共享的全域数据体系，帮助企业建立完善的信息化解决方案，全面支撑公司业务发展，规范作业流程、提高工作效率,减少重复劳动，保障数据的准确性。 KeenData数据资产建设方法论中总结了标准的、完善的企业级数据资产实施流程，结合KeenData完整产品矩阵，能够大大提升项目实施效率。

全域数据资产体系 — 数据资产建设关键路径 icon

全域数据、统一采集存储
主要采集数据源为内部数据的业务数据与日志数据，以及互联网的外部数据等，采集的方式分为离线采集，实时采集，增量采集，全量采集，以及文件采集。

数据体系分层设计
总体分为四层，原始数据层(ODS)尽可能的保持全量原始数据，公共数据层(DWD) 保存统一标准的业务事实明细数据，公共汇总层(ODM)保存以对象为核心主体的全域主题数据，应用数据层(APP)则保存面向数据应用的业务定制数据。

全域数据建模
面向数据分析（报表、经营分析）和数据应用（数据挖掘、业务应用）进行全域数据模型构建模型构建方法通常使用维度建模，主要应用DWD层之上，用于构建事实维度层，分为四个阶段：业务建模、概念建模、逻辑建模、物理建模。

数据质量管理
从一致性、完整性、准确性、及时性、重复性、规范性六个方面对数据质量进行评估，并从数据、规则、告警和反馈四个方面进行数据质量监控，实现企业全流程数据的高质量和稳定性。

数据资产管理
主要包含数据标准管理、数据质量管理、元数据管理、数据标签管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理、数据价值管理，形成九个数据资产管理职能域。

数据多元服务模式
通过四种服务模式对外提供数据服务能力：数据接口（API Service）、数据集市服务、数据推送服务、JDBC服务。

全域数据资产体系 — 全域数据资产统一采集存储 icon

数据同步中心是全域数据的汇集之地，把分散在企业各个业务系统，底层日志，以及信息互联网的数据采集到数据中心，用于构建公共数据中心。主要采集数据源为内部数据的业务数据与日志数据，以及互联网的外部数据等，采集的方式分为离线采集，实时采集，增量采集，全量采集，以及文件采集。

全域数据资产体系 — 全域数据资产分层设计 icon

科杰科技全域数据体系分层理念：总体分为四层，原始数据层(ODS)尽可能的保持全量原始数据，公共数据层(DWD)保存统一标准的业务事实明细数据，公共汇总层(MID) 保存以对象为核心主体的全域主题数据，应用数据层(APP)则保存面向数据应用的业务定制数据。

全域数据资产体系 — 全域数据资产建模设计 icon

• 面向数据分析（报表、经营分析）和数据应用（数据挖掘、业务应用）进行全域数据模型构建模型构建方法通常使用维度建模，主要应用DWD层之上，用于构建事实维度层，分为四个阶段：业务建模划分整个单位的业务，通过业务部门工作界定，理清各业务部门之间的关系

• 深入了解各个业务部门的内具体业务流程并将其程序化。

• 提出修改和改进业务部门工作流程的方法并程序化。

• 数据建模的范围界定，整个数据仓库项目的目标。概念建模抽取关键业务概念，并将之抽象化。

• 将业务概念分组，按照业务主线聚合类似的分组概念。

• 细化分组概念，理清分组概念内的业务流程并抽象化

• 理清分组概念之间的关联，形成完整的领域概念模型。

• 逻辑建模业务概念实体化，并考虑其具体的属性

• 事件实体化，也就是所谓的事实，并考虑其属性内容

• 说明实体化，也就是所谓的维度，并考虑其属性内容。物理建模针对特定物理化平台，做出相应的技术调整

• 针对模型的性能考虑，对特定平台作出相应的调整

• 针对管理的需要，结合特定的平台，做出相应的调整

• 生成最后的执行脚本，并完善之

全域数据资产体系 — 全域数据资产开放共享 icon

通过四种服务模式对外提供数据服务能力

1.数据接口(API Service) 各个业务库数据、大数据综合数据都可以直接发布成数据接口，面向应用来进行提供

2.数据集市服务，基于数据集市,可以进行更加灵活的数据处理，以数据集市来面向不同的业务进行开放。

3.数据推送服务，可以将大数据综合的数据直接推送到业务库，降低业务使用数据的成本

4. JDBC服务更为灵活，更容易被业务系统所接受，适用于支持JDBC数据对接模式的第三方软件，如第三方BI工具

全域数据资产体系 — 全域数据资产管理 icon

数据资产管理的职能主要包含数据标准管理、数据质量管理、元数据管理、数据标签管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理、数据价值管理，形成八个数据资产管理职能域。数据资产目录产品是科杰大数据产品体系中最重要的组成部分，是一套数据可视化的数据管理运营工具，实现复杂的数据资产运维简单化。

数据标准管理
定义数据统一标准，形成标准落地方案，让数据生产和使用数据达成一致，提高数据的复用率。

数据质量管理
从完整性、准确性、一致性以及及时性对数据进行质量评估，通过科杰大数据产品中的监控模块对数据质量进行及时监控。

数据生命周期管理
覆盖全量数据的生命周期管理，提高存储和计算资源利用率

主数据管理
对主数据进行控制，提高主数据质量，降低使用成本和复杂性

元数据管理
元数据是关于数据的数据，元数据管理可以帮助数据管理者、开发者、使用者非常方便的定位数据

数据标签管理
标签管理让数据使用者能够更好的探查数据、理解数据

数据安全管理
严格的权限授权，权限审批流程，完善的数据安全管理保证数据能够被合法合规的存储和使用，保障企业的数据安全

数据模型管理
通过数据模型管理清晰的表达企业内部各业务主体之间的数据相关性，构造企业内部数据统一视图

工业制造头部标杆企业数据底座建设最佳实践 — 三一重工 icon

代表客户：三一重工

项目背景

基于分散的能力体系,构建企业级数据底座，增强数据开发、数据建模、数据指标、数据服务等综合数据资产建设和管理能力，同时进行全域数据资产建设和管理，以数据资产门户形式连接表、服务、指标、报表、仪表盘五类资产源,实现五类数据资产面向不同角色的持续价值运营。服务产品。

数据开发管理平台( Keen BDP )

数据资产目录( Keen Asset )

指标管理平台( Keen Index )

数据服务平台( Keen DaaS )

客户收益

构建核心数据底座能力,统一分散的能力体系,实现与现有计算框架及资产体系集成；

全流程指标管理系统,实现基础指标、汇总指标及模型指标构建,为领导决策提供依据；

资产打标签,基于标签寻找关键性数据,更好为业务人员服务。

整合标签，整合指标形成资产目录实现资产检索,元数据管理,实现数据资产的沉淀,支撑业务需求目标；

集成BI工具通过丰富的数据模型和API资源,实现快速分析，支持"人人都是数据分析师”的愿景实现。

金融保险头部企业数据底座建设——泰康集团 icon

代表客户泰康集团

项目背景

原有的传统数据架构带来的存储和计算瓶颈,以及对于保险应用场景支撑的不足,需要构建大数据技术底座，一方面解决算力和计算的问题，另一方面解决面向应用高质量数据的数据资产建设问题，与此同时根据泰康养老的保险业务数据进行自建营销标签，建设完整地客户画像体系，助力客户优选潜在客群包,精准数字营销并提升后续客户转化率。

服务产品

数据开发管理平台( Keen BDP )

实时计算平台( Keen Stream )

数据服务平台( Keen DaaS )

数据资产目录( Keen Asset )

客户收益

建设数据底座，从客户标签出发，打通各业务线数据，构建统-客户画像:联合个人保险、团体保险、险种、受益人等多个业务和IT部门,众筹建设,已上线数据开发、数据治理、数据标签、任务监控及数据分发网关等5大数据中台核心功能,多方合作,梳理设计了78个原子标签及组合标签。

以数据底座为依托,完成数据清洗整理,形成大宽表,将数据推送到标签平台,使得标签平台拥有：支持查看标签详情,包括查看标签名称,标签定义,创建者,归属部门, 血缘关系等；支持标签人群分布;支持按照标签值的覆盖人数进行排序等应用功能。

能源头部企业数据底座建设最佳实践——中石化 icon

代表客户中石化

项目背景

结合EPBW建设实际业务要求,面向勘探开发全域数据内容,覆盖数据处理全过程,搭建大数据基础设施,建设统-数据管理与服务体系能力。形成高可用的数据资产,实现数据资产的服务化。同时,运用有效数据管理机制,有效管理和提升数据质量、数据安全,实现数据资产的自动沉降更新。

服务产品

数据同步系统( Keen Dysnc )

数据开发管理平台( Keen BDP )

数据服务平台( Keen DaaS )

数据资产目录( Keen Asset )

客户收益

支撑总部5套业务系统(生产运行管理平台、石油工程决策系统、天然气管理系统、油田部- -体化平台、SUIP)、1套考核体系(油田部考核表)相关源表的数据采集。

按照业务需求搭建数仓( ODS层、 DWD层、DWS层、APP层) ,共划分钻井、录耕、测井、井下作业、地质研究采油气、生产管理、工程监督等18个主题域,并形成全域数据体系的数据资产。同时制定数据资产目录权限管理体系及数据服务在线申请管理流程。

完成目前支撑总部5套业务系统(生产运行管理平台、石油工程决策系统、天然气管理系统、油田部一体化平台、SUIP) 、1套考核体系(油田部考核表)的数据服务。

大型跨国型零售集团数据底座建设最佳实践——永旺集团 icon

着眼未来，创新发展。永旺着眼电商、数字化市场，依托科技推动变革，开拓新形态，打造线上线下“ONE AEON”，为顾客提供更为优质的购物体验、更为精准的服务。2019年，永旺加快数字化创新的步伐：成立永旺数字科技有限公司；以永旺的数字化中台为依托，打通商品、打通会员，在全国范围内导入永旺APP，让顾客享受永旺全渠道服务所带来的便利；转向云办公，运用数字化技术提升办公效率；打通各业态的支付通道与会员系统，不断扩充周边服务，打造数字化生态圈。

统一数据开发管理平台
与统一认证系统集成，建设统一的数据开发管理平台，集离线、实时开发能力于一体，实现永旺全域数据的接入与加工，对任务的维护和管理。

建立数据科学应用平台
提供常用数据挖掘算法应用和可视化建模工具，通过托拉拽的方式编排算法组件，让掌握机器学习基础知识的业务型用户快速构建、训练、部署算法模型； Notebook 建模工具，简洁强大的代码开发模型，贴合算法开发人员、数据科学家等用户的建模习惯。

完善数据仓库体系
根据永旺业务场景建设需求，有规划、分步骤建设永旺数据资产体系，通过数据标准、质量、安全、元数据、数据血缘等管理机制建设，形成永旺数据资产的运营体系与管理平台。

建立数据服务平台
利用配置工具生成各类 API 服务，监控所有 API 的调用及使用情况，让数据资产价值对外输出，同时可见、可管；支持开发人员编写 SQL，根据 SQL 语句解析相应的入参、出参，生成数据接口，加速开发效率。

应用场景

建立数据、服务平台
利用配置工具生成各类 API 服务，监控所有 API 的调用及使用情况，让数据资产价值对外输出，同时可见、可管；支持开发人员编写 SQL，根据 SQL 语句解析相应的入参、出参，生成数据接口，加速开发效率。

建立指标与标签、管理平台
基于数据中台数仓数据，梳理和建设永旺业务指标与标签类目，并建立运营管理平台，支持业务运营人员、开发人员对指标和标签进行设计、开发、上架、使用、管理。

智能业务场景、建设支撑
支撑永旺智能业务场景需求，如用户画像、个性化推荐、个性化营销、智能定价、自动订货等，打通会员、门店、电商、供应链、财务等全域数据，通过数据开发及服务支持，算法和业务过程形成自闭环，优化结果能快速传递到业务端，实现数据反哺业务。

科杰科技介绍

卓越的大数据技术创新，大型企业多业态复杂场景最佳实践沉淀构建的湖仓一体化的大数据技术工程和AI基础设施能力，帮助企业构建核心数据底座。成熟完备的数据底座产品矩阵成熟完备的数据底座能力产品矩阵，融合dataops理念、覆盖数据全生命周期的一站式全链路全可视化的大数据技术工程&AI基础设施产品。企业级数据管理和运营落地的方法论行业领先的数据能力体系化建设方案，融合十余年大数据工作方法论，涵盖数据汇聚、数据处理、数据共享交换、数据挖掘分析、数据服务、数据应用、数据治理、数据运营管理等数据能力建设。

资质证书与荣誉