数据存储和计算领域的发展方向由实现海量数据的高效存储计算转向 降低运维成本,提升数据处理效率。
云化改造全面加速
数据存储与计算技术持续与云融合,资源利用率进一步提升。
融合一体化持续加深
流批一体、湖仓一体持续加深,不断降低运维成本。
安全能力快速补强
数据存储与计算面临着新型安全挑战,内生安全正成为传统防护
的重要补充。
数据智能引擎CyberEngine是数新网络独立自主研发的企业级云原生大数据平台,支持数据存储、资源调度、流批计算、交互分析、数据湖、消息队列、搜索引擎、工作流编排、MPP数据库等组件的深度整合与优化,为客户提供稳定高效服务的大数据组件信创化版本。为客户提供快速便捷的集群部署、组件安装、平台运维和智能监控等服务的一站式大数据平台解决方案,助力企业构建自主可控大数据平台。
产品由两大部分组成:
底座基于Hadoop、云原生,实现存储和分布式计算的扩展能力,产品架构如下图所示:
CyberEngine目前已集成的组件清单如下图所示,组件及组件版本将随着平台版本迭代持续集成;
场景: 繁琐的运维管理
大数据平台的运维管理常常充满挑战,需要监控集群、跟踪组件状态、升级软件、解决问题等,这一切都需要耗费大量的时间和精力。
背景&契机
该银行基于多年的工作经验,已在各业务场景积累了丰富能力。
随着业务和科技的发展,现有的单一生态大数据平台已无法满足成本、自主性、自研等多重需求。
在比较后,该银行选择我们合作,希望开发兼容多种生态、统一运维的综合大数据平台。
痛点
实施效果
客户好评
事件流实时分析是大数据中常见的需求,典型的业务场景如分析广告投放效果、物流跟踪、实施运营、日志排障等。
该公司因业务、规模、成本等限制,业务仅最终报表与关键业务链路会使用实时分析,其他场景仍以离线分析为主。但随着业务发展,该公司需要一种更大规模、更便宜的近实时分析手段。
该公司最初采用常见的Hadoop大数据集群架构。随着业务迅速增长,出现两个问题:
痛点:
阿里云大数据开发治理平台DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
一站式全域数据平台,性能卓越
全图形化操作界面,图形-代码互转
云原生、全托管,开箱即用
租户隔离,细粒度权限控制
够快云库非结构化数据中台解决方案将分散在各个系统和部门中的非结构化数据集中管理。目标是建立一个统一的数据平台,方便数据的查找、访问和共享,提升运维效率,提高数据的整合性和一致性。提高非结构化数据的利用效率。通过智能检索、数据挖掘和分析等功能,快速定位和获取需要的数据,加速决策过程,提高业务流程的效率和准确性。实现智能化和自动化的数据处理。例如,自动化的数据清洗和标准化,自定义元数据的添加和管理,智能检索和推荐等功能,提升数据处理的效率和准确性。
数据整合集中管理
数据利用效率提升
数据安全与合规性
智能化自动化处理
国内首家数据中台方法论体系发布者,让数据可见、可用、可懂、可运营,企业数据中台建设的标准化落地能力:“1+1+N”数据中台建设体系。7年200+多行业中大型综合业态企业数据中台架构经验,标准化的企业级数据全链路梳理构建资产能力。
3个阶段
7大流程节点
22+交付项
全流程监控