立即咨询

电话咨询

微信咨询

立即试用
商务合作

数澜科技实时数据开发分析工具

数澜科技实时数据开发分析工具,提供低延迟、高吞吐、高可靠的分布式流数据全链路实时分析工具。让用户无需关心底层流式处理逻辑的开发工作,即可搭建自己的流式数据分析和计算服务。
立即咨询
icon产品优势icon
轻量的代码开发
向导化定义输入输出,快捷实现业务需求;降低学习成本,屏蔽底层技术,聚焦流分析本身
可靠的计算引擎
基于业界开源的流计算框架,Exactly-Once语义保证数据一致性,具有吞吐量高、时效性强等特性
安全的权限隔离
支持多租户隔离,租户建安全机制保障,确保作业安全运行;支持项目间的数据权限隔离,保障数据的安全性
灵活的底层适配
支持多种大数据存储计算平台,支持底层集群、Flink connector插件化开发
icon核心功能icon
实时同步
支持异构数据源,可视化拖拽,脏数据管理
实时计算
SQL化开发,支持参数调优,多流多维表jion,多引擎版本
运维监控
丰富的metrics监控指标,支持作业消费延迟告警及脏数据管理、实时掌控作业运行状态
统一发布
支持多级环境级联发布,保障开发环境、预发环境、生产环境的隔离
icon实时数仓的应用场景icon
实时OLAP分析
扩展现有OLAP分析工具,支持实时数据分析
实时计算特征
实时计算实体特征,进行精准运营
实时数据看板
实时播报核心数据
实时业务监控
核心业务指标实时监控,预警
icon业务流程icon
实时数仓的整体架构
数仓层次更少
尽量减少层次的划分,应用层数据直接写入应用数据库,仓库内不维护应用层
多种数据源存储
实时数仓使用Kafka存储明细与汇总数据,Redis、HBase等缓存存储维度数据
icon业务流程icon
实时数仓的整体架构
实时数仓其实是从 Hive+HDFS 的组合换成了 Kafka,ETL 的功能通过 Flink 的流式处理解决。面临问题: 历史数据丢失,因为 Kafka 只是临时的存储介质,数据会有一个超时的时间 (比如只保存 7 天的数据),这会导致我们的历史数据丢失。
icon业务流程 实时数仓DWD明细层icon

解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能话尽可能和离线保持一致。

icon业务流程icon
实时数仓DIM维度层
变化频率低的维度:如地理、节假日等
可以通过将离线仓库的维表数据同步到缓存,或者通过公共服务提取数据。最后通过维度服务查询,对用户屏蔽细节。
变化频率高的维度:如商品价格、新老客等
通过维度数据的变化消息构建拉链表。
通过事实数据计算衍生维度构建拉链表。
icon业务流程 实时数仓DWS汇总层icon
对共性指标统一加工
大数据去重指标计算时,可以考虑使用非精确去重减少内存使用
Flink丰富的时间窗口
使用时间窗口后,要设置对应的State的TTL设置
根据主题进行多维汇总
直接使用group by语句,需要转化成append流才能写入Kafka
衍生维度的统一加工
可以利用HBase的版本机制构建实时维表
icon解决方案 实时数仓的概念映射icon
icon解决方案 实时数仓的Lambda架构icon
icon解决方案icon
实时数仓的Kappa架构
Kappa架构可以认为是Lambda架构的简化版(只要移除Lambda架构中的批处理部分即可)。在Kappa架构中,需求修改或历史数据重新处理都通过上游重放完。Kappa架构最大的问题是流式重新处理历史的吞吐能力会低于批处理,但这个可以通过增加计算资源来弥补。
icon解决方案 基于Flink实时数仓的整体设计icon
icon解决方案 基于Flink实时数仓的数据模型icon
icon方案实施 基于Flink实时数仓的功能结构icon
icon流批一体探索:统一元数据icon

把 Kafka 表的元数据信息存储到 HiveMetaStore 中,做到离线和实时的表 Meta 的统一。

icon流批一体探索:统一计算引擎icon
同一套 SQL,Flink自身提供批流一体的 ANSI-SQL 语法,可以大大减小用户 SQL 开发者和运维者的负担,让用户专注于业务逻辑。
同一个引擎,Flink的流和批复用一套优化和 Runtime 框架,一套引擎可以让开发者专注单个技术栈,避免需要接触多个技术栈,而只有技术广度,没有技术深度。
icon流批一体探索: 统一数据icon
实时 Kafka 表可以实时的同步到对于的离线表中。
离线表作为实时的历史数据,填补了实时数仓不存在历史数据的空缺。
数据批量准实时摄入为 Ad-hoc 查询离线表提供了准实时输入。

产品推荐

Teambition阿里旗下团队项目协作工具
重塑协同⽹络,颠覆固有的⼯作⽅式,打造更⾼效的敏捷组织。借助数字化⼿段改善⽤户体验和参与,建⽴更亲密的连接。突破传统⾏业边界,重新定义客户价值,开拓全新业务模式。
免费试用
查看详情
北塔智能运维管理软件
北塔智能运维管理软件,数据类型覆盖全,指标多。 精细采集控制,确保被管理对象安全和数据传输稳定。 同时支持Agent和Agentless采集,满足高频采集需求。通过管理指标的有序展现,动态把握主机运行状态,北塔ITSM微应用提供可定制的流程引擎和相关能力,帮助用户轻松设计和执行审批流。
免费试用
查看详情
腾讯云即时通信IM
腾讯云即时通信IM,覆盖全平台、低门槛快速集成,可与TRTC、云直播、云点播、互动白板等产品协同使用。支持文字、表情、图片、短语音、短视频、文件、位置等多种消息类型,提升用户活跃度 。好友工作群、陌生人社交群、临时会议群、直播群、社群等多种群组类型,满足特定群聊场景,丰富社交手段。
免费试用
查看详情
泛微制造业CRM管理平台
泛微制造业CRM管理平台将企业涉及的采购、库存、生产、销售、等各管理环节整合在一个平台上,实现企业内部各部门及外部供应商、客户等环节信息的及时共享,实现内外部资源有效整合,降低管理成本,对市场信息进行预测分析、增加了客户量,通过提供低成本的产品和高效率的服务提高了企业的经济效益和市场竞争力。
免费试用
查看详情