立即咨询

电话咨询

微信咨询

立即试用
商务合作

袋鼠云实时开发StreamWorks

袋鼠云实时开发StreamWorks,面向实时数仓构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路疆盖。支持Flink多版本引擎、Kubemetes资源调度,提供丰富的运维监控曲线,助力企业实时化转型。
立即咨询
icon实时数据应用场景愈加丰富,已成为必然趋势icon

实时数据处理能力将成为企业提升竞争力的一大因素

实时经营分析
• 实时大屏
• 互联网经营看板
• 营销活动效果实时播报
实时推荐
• 实时产品推荐
• 实时用户标签
• ...
实时业务监控
• 反洗钱身份识别
• 异常交易实时监控
• 外接机构履约实时监控
实时行为分析
• 基金理财访问交易分析
•实时冻结&可用资金分析
• App用户行为日志分析
icon企业实时数据应用建设痛点icon
门槛高
• 开发过程中往往依赖Kafka、各种OLAP引擎等,链路复杂。
• 实时开发的技术门槛高,学习难度大。
如何梳理数据分布
• 建设成本:维护Flink、Kafka及各类技术框架,资源投入大。
• 使用成本高:实时开发的专业人才难招聘、难培养。
如何量化生产成本
• 由于流式数据本身不断变化,其代码调试复杂,验证结果的正确性很繁琐。
如何分析数据价值
• 没有统一的数据建模和开发规范。
• 开发人员各自为政,烟窗式开发,难以管理。
• 实时任务运行过程难以监控,出现问题后知后觉。
icon企业实时数据应用建设方式与目标icon

 

建设方式
以业务推动实时应用建设
•参考行业内的实时应用场景、案例,赋能业务。
•以服务业务为最终目标,带动实时应用、实时场景的发展。
建设目标
简化开发链路
• 开发组件统一管理、统一使用,减少使用和维护成本。
• 推进SQL化开发,降低使用复杂度。
建设目标
平台化建设
• 为提高开发效率、管理效率,需采用平台化建设思路。
• 采用统一的平台进行实时作业管理、标准管理,建立统一的开发规范、管理规范。
icon构建实时数据仓库体系的4个步骤icon

• 实时数仓沿用「数仓分层」概念,将各层级数据存储至Kafka(或其他消息中间件)或其他存储,供下游层级消费或使用。
• 实时数仓的构建过程与离线的虽有类似,但其在需求阶段、技术选型、管理与监控方面存在较大差异 。

 

icon需求明确:业务与技术的需求相结合icon

 

icon技术选型的4个方面icon

 

 
icon数仓设计与开发icon

 

实时数仓分层设计

➢ ODS(贴源):以Kafka Topic内的数据直接作为ODS层数据。
➢ DWD(明细):建议在明细层统一完成数据的过滤、清洗、规范、脱敏等操作,提高数据复用率。为提高时效性,实时数仓较少进行维度退化。

➢ DWS(汇总):加工共性的多维指标汇总据,提高代码利用率。

开发规范

➢ 主题域划分。
➢ 表命名、任务命名、指标命名、标签命名规范。

➢ 开发过程规范(代码、注释、格式、数据类型...)

代码开发与调试

➢ 按照模型规范及指标定义,进行SQL类代码开发。
➢ 需具备友好的代码测试、调试工具,进行充分的测试,防止在生产环境进行反复代码测试。

icon管理与监控icon

 

任务发布

■ 需考虑实时任务从测试发布至生产环境的流程规范。


■ 任务版本的有效管理、版本切换等,当发生异常时可快速回退版本。

运行监控与告警

■ 实时任务运行过程中的各种指标监控,例如数据流量、数据延迟、任务背压等各项指标,均需可视化方式进行管理与维护。


■ 基于监控指标之上,需根据一定的业务规则触发告警,例如数据延迟过大、数据流量突变等,提高任务运行的可靠性。

实时数据治理

■ 当实时任务、流表数量,以及配套的开发人员逐渐增多时,除了完善各项规范外,还需提升实时数据治理能力,例如:

a、统一的流表数据资产管理

b、流表数据质量稽核
c、实时数据安全、脱敏

...

icon产品定位介绍icon
实时开发 StreamWorks
StreamWorks,面向实时数仓构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。支持Flink多版本引擎、Kubernetes资源调度,提供丰富的运维监控曲线,助力企业实时化转型。
 
icon产品架构icon

 

icon产品特点icon

 

采集+计算+运维一体化
内含实时开发全链路工具,采集、计算、运维一体,降低客户使用成本,降低实时计算门槛。
统一元数据管理
基于Hive Metastore,实现统一的元数据管理,Flink在不同Catelog建表后统一存储至hive matastore其他人员直接使用,统一管理,资源共享。
批流一体
批流一体采集:支持存量数据同步+增量日志采集还原,一体化任务,无缝衔接。
批流一体开发:支持基于Iceberg的批流一体任务开发,通过定期批任务,修复实时计算可能的数据问题。

 

功能丰富
平台提供任务跨环境发布、代码调试、SQL校验、提交检查、自动启停、批量连接现存任务等丰富功能。
云原生支持
在支持YARN+HDFS的基础上,同时支持Kubernetes资源调度、MinIO、OSS等对象存储。
icon利用实时开发StreamWorks平台构建实时数仓icon

 

icon实时采集icon
基于ChunJun(原FlinkX)对数据库进行数据采集,实现采集工具化,可对主流数据源进行CDC日志数据和通过JDBC间隔轮询两种实时采集方式。

一、支持向导/脚本双模式:
向导模式:面向新手用户,界面配置,简单易上手;
脚本模式:面向资深用户,纯代码开发,配置更灵活。
二、基于CDC实时采集的数据还原:
采集上游数据库的DML、DDL日志数据,还原为下游数据库的SQL语句,实现表结构、数据内容的还原写入。
三、批流一体化的采集任务:
一个采集任务实现上游存量数据的同步,然后无缝衔接增量日志的采集还原。
icon数据开发:基础功能icon

丰富的底层组件封装,界面化操作,降低开发门槛,使开发人员专注于业务逻辑处理

WEB SQL IDE
➢ 多人协作的任务锁
➢ 任务版本控制、一键回滚
➢ 代码高亮/自动补全/列块模式
➢ 语法检查,快速定位
➢ 可进行代码调试,提交预校验
维表缓存策略
➢ LRU(Least Recently Used):设置缓存大小、缓存时间灵活取用
➢ ALL:全缓存至内存定、全量刷新
➢ None:无缓存,Join时直接查询
 
 
可视化建表
➢ 页面可视化配置源表、结果表
➢ 数据预览,字段快速导入
➢ 更新模式适配append、upsert
➢ 并行度灵活配置
 
系统&自定义函数
➢ 本地资源上传
➢ 项目内使用、全局共享
➢ 内置系统函数,满足日常开发
➢ 自定义函数,为数据开发能力提供可拓展性
 

 

icon任务开发:高阶配置icon

 

icon发布上线icon

 

icon任务运维icon

 

icon产品价值icon

 

降低开发门槛

兼容了多版本引擎、适配多种数据源,封装集成为可视化操作界面。基于Web IDE,图像化配置表信息并使用SQL语言进行开发,降低整体上手门槛。

全面运维保障

提供任务全生命周期的可视化运维。全链路拓扑、丰富Metirc曲线展示、多方式多渠道任务告警,帮助用户搭建全面运维体系,提高运维保障。

促进数据规范

协助企业构建实时数仓,建设实时数据标准及规范。搭建一套实时任务调度、任务运行监控及实时任务可靠恢复机制于一体的实时数据平台,保障数据质量,提供统一标准的数据出口。

icon光大证券icon

 

icon新华财经icon

 

icon银河证券icon

 

 

 

产品推荐

金蝶小型企业智能制造ERP解决方案
金蝶小型企业智能制造ERP解决方案,两大方案[简单生产解决方案、普通生产解决方案]满足小微企业不同管控需求,一键式的生产方式,操作简便;通过报表实时查看订单的全过程执行情况;委外与生产成本的归集与分摊自动化、可视化。提升企业的管理水平,降本增效。
免费试用
查看详情
泛微京桥通SRM采购管理系统
泛微京桥通SRM采购管理系统,通过数字身份 ,所有与供应商的交流、磋商、档案信息真实有效,防篡改,采购合同分析,各类合同执行情况的汇总展现。支持在线投标报价,允许供应商多轮报价,结合模板套用、OCR识别、敏感词识别等技术使得采购合同起草更加便捷、高效。
免费试用
查看详情
飞扬UTMS物流管理云系统
飞扬UTMS物流管理云系统,SaaS UTMS云系统,飞速部署,在线升级;电脑端手机端功能及数据全部打通,小程序比app更轻更方便,随时随地移动办公,数据统计随时看;系统内置丰富营销工具,按需选用借助微信生态,有效拉客获客,先人一步掌握成交机会。
免费试用
查看详情
六部工坊启智MANI机器人
启智MANI是一款专门用于移动抓取教学的机器人平台。其拥有麦克纳姆轮全向移动底盘、硬件里程计、激光测距雷达、立体视觉相机、四自由度机械臂等一系列配置。机载计算单元集成384枚GPU硬件加速器,具有极强的三维图形处理和神经网络运算能力。
免费试用
查看详情