icon数据中间件产品icon

采用基于日志的增量数据获取技术(Log-based change data capture),为主数据管理、数据仓库、大数据 平台提供实时、准确的数据变化,从而使得客户可以根据最新数据进行运营管理与决策制定。

icon无代码、配置式数据管道构建提升数据流动的自动化与敏捷性icon

在数据节点、数据链路、融合任务及系统资源四个基本逻辑概念中,用户只需要通过二至三项简单配置就可以定 义出可以执行的融合任务,系统提供基于最佳实践的默认选项,实时数据需求的研发交付时间从2周减少为5分钟。

icon以稳定高容错的系统和灵活丰富的策略配置拥抱变化icon

为应对复杂的实时数据运行时场景需求,系统提供限制配置与策略配置两大类十余种高级配置。用户可以通过这 些配置对下游概念进行限制与管理,亦可以通过这些配置来统一调整下游概念的执行范围与策略应用范围。基础配置,每个逻辑概念所必须的、最基本的配置项,构成逻辑概念除名称描述以外最基本的属性信息。基础配置在不同逻辑概念中是不同的。 限制配置,数据融合任务在执行过程中,针对不同逻辑对象在不同层次上的限制条件,融合任务执行过程中必须遵循的规则。限制配置在相关的逻辑概念中会遵循依赖关系而互相影响。 策略配置,数据融合任务在执行过程中,出现不同的运行事件及状态变化时的应对策略与管理规则。在相关的逻辑概念中需要遵循,也可以在不违反策略的前提下制定自身的个性化策略。

icon分布式引擎、组件级高可用保障实时链路稳定高容错icon

融合引擎采用分布式架构,容器化部署。可以保证系统业务连续性要求。在分布式集群的基础上,采用系统资源组 的形式隔离不同任务的运行环境,保障重要任务的稳定有序运行。

icon典型场景:企业级实时数据管理平台icon

通过多种实时数据技术,支持广泛的数据节点类型,协助客户构建以业务目标为导向的数据链路,按需快速定制、 部署、执行数据任务,以支持从传统数据处理到实时数据应用的各类场景。

icon中国民生银行实时数据管道项目icon
总体目标 经营管理部门对大量的经营指标和客户视图等信息的获取、反欺诈和反洗钱等重点领域的决策分析,都对数据管理提出了从批量升级到实时、准实时的要求。为解决上述重难点 问题,民生银行大数据管理部于2017年启动实时数据体系建设,以有效支撑监管、风控、营销、经营分析等应用场景。随着数据应用的深入,行内业务部门不断提出更综合的实时数据加工需求,新需求的加工复杂度持续升高、使用场景持续扩展、交付效率持续加快、运营质量要求持续提升。为提升实时数据支撑能力,民生银行开始从“平台、数据、应用”三个方面进行实时数据体系建设。面临的挑战:加工复杂度持续升高,开发测试难度大;交付效率持续加快,投产风险高;运营要求持续提升,运营难度高;使用场景持续扩展,管理要求高;人员易流失,招聘难度大。
项目成果 企业级实时数据管道为实时数据体系打下坚实基础;客户行为等实时数据的标准化补全分发;实时账户变动与指标变化为实时头寸计算提供依据;实时数据加载到查询缓存数据库作为业务实时查询使用;为历史数据查询提供主数据系统数据和数据仓库数据。
icon中国人寿海外公司实时数据融合平台icon
总体目标
降低研发成本:客户需要同步四种异构数据节点,自研至少需要数十个人月,成本较高。使用DataPipeline极大降低了研发成本且可以立即投入使用,得以将精力投入到数据价 值的挖掘和释放上去;
释放数据价值
提高业务端取数的实时性和丰富性,满足业务端实时大数据分析和业务需求。面临的挑战与期望;取数慢,当前数据同步系统无法满足需求;运维难度大,定位问题难度大,费时久,运维成本高;自主可控迁移需求;稳定性、安全性要求高。
项目成果
DataPipeline在异构数据库的支持方面表现尤为突出。兼容客户的SQL Server、MySQL、Oracle、TiDB等数据库,快速实现异构数据源之间 实时增量数据同步;分布式架构,保障高并发量下数据传输的稳定性和时效性;可视化运维:通过DataPipeline可视化界面进行表的配置,省时且不容易出错;通过可视化监控界面,及时查看同步的数据量,速率,每张表的同步状态等,及时发现问题降低运维难度。
icon山东城商行联盟数据库准实时数据采集项目icon
 
总体目标 通过实时数据融合系统将打造统一的库表数据采集平台,利用可视化图形配置界面在极短时间内完成数据节点的接入、数据链路的规划与设计、实时数据管道的构建、数据任务管理、可视化运维等一站式的数据融合平台,有效地减少实时数据同步过程中的开发和运维成本,并提高开发的工作效率。该数据融合系统将实现复杂异构数据源和目的地的高 效联通,大数据量高并发的数据同步,可视化实时监测保障数据任务稳定运行,并为灵活多样的数据消费需求提供强有力的技术支撑。项目成果:多源异构,DB2,Oracle,MySQL等多种数据库 进行近实时的数据采集功能,并对数据源建立高效 的管理功能,实现对数据源、目的地的数据连接统一管理管理,通过界面进行数据源与目的地注册, 删除数据源,同时根据需求不断迭代支持新的数据库。
实时采集,利用解析数据库归档日志的方式,实现秒级的数据变更捕获,将解析的变更记录传送到数 据目的地中,包括日志中提取数据变更的增、删、改等DML操作记录,以及新增表、删除表、添加字 段、删除字段等自动同步到目的地中 。标准管理,统一的可视化管理页面,提供平台级别的数据管理功能,包括产品权限、数据时效管理和 安全管控等方面功能,为数据工程师、运维人员提 供直观的数据任务地图,随时可以洞悉数据的最新动态,极大提升运维工作效率和效益。
icon财通证券集团数据交换平台icon
总体目标 利用流程,结构,技术的力量,建设一个符合金融行业数据流转稳定要求的,操作简单,运维压力低,自定义能力强且对业务系统与业务人员更友好的系统。 兼容主流的数据存储系统;表结构变化自适应;源的高度可拓展性。 提供高效的API开放能力,便于进行企业级能力组合,构建高效能力组件。 用统一的系统平台来实现并管理数据流转;分发模型:一次读取数据并将数据分发的不同的存储介质;读写分离:流量控制,复杂网络访问高度弹性扩缩容能力;组件高可用;极强的高并发性能;运维部署便捷。面临的挑战与期望 解决数据跨网传输难题 任务自动触发,减少人工干预 过程可监控,问题及时预警,保障下游用数不受影响适配安全隔离网络架构,自动完成跨网的数据采集、中转、处理 识别清算数据表的日期变化,自动触发数据同步任务 针对无主键数据,可灵活设置过滤规则,同步指定的增量数据
项目成果
实现公司含核心系统在内50+业务系统的数据交换;涉及数据源超过120+;超过5000条同步链路;每日前交换数据量超过70亿;平台交换总量超过8000亿条;每天支持40+业务系统运行所需的周边系统数据提供。
icon中国石油梦想云实时数据同步服务icon
 
总体目标 中石油有自己的云平台——梦想云,在梦想云上搭建了大数据平台,根据梦想云客户的数据融合需求,需要构建融合Oracle、 MySQL、 PostgreSQL等异构数据源到Oracle 、HashData、Greenplum的多条数据链路;面临的挑战:自研产品表现不理想:自研的数据同步产品,采用代码方式实现数据传输链路, 每个数据同步任务需要编制脚本,研发交付效率较低。没有图形化界面,任务 状态监控等运维功能不直观,用户权限、安全等方面的管理功能不完善;实时数据融合能力不足:梦想云客户需要实时将油田数据采集到大数据平台进 行建模分析,只实现了定时数据同步,没有实现实时数据同步,实时数据融合较定时模式自研难度更大,稳定性、性能要求更高。
 
项目成果
降低研发成本,自研难度太大,耗时太长,成本太高。上线DataPipeline后 , 极大降低了研发成本且可以立即投入使用,省时省力省钱。释放实时数据价值,数百个实时数据任务为从勘探、开发、生产到作业的各类场景提供准确、可靠、一致的批量与实时数据,使生产管理及研究人员从日常 琐碎繁重资料收集、数据处理工作中解放出来。提升管理效率,实现了勘探开发数据的统一采集、集中管理与共享应用,极大地提升了勘探开发生产科研工作效率,为中国石油打造国际一流能源企业奠定了坚实的基础。
icon重点领域信息化领先客户的广泛应用icon

深耕企业服务,公司从成立以来把业务重点放在服务业务发展水平高,信息化建设水平高的客户方面。

icon公司简介icon
DataPipeline 是一家中国的中间件厂商,公司秉持「连接一切数据、应用 和设备」的使命,致力于成为「中国的世界级数据中间件厂商」。 DataPipeline 通过自主研发的一系列实时数据技术协助用户构建以业务目 标为导向的数据链路,实现企业级实时数据管理目标。产品支持广泛的数据节点类型,按需快速定制、部署、执行数据任务,产品广泛应用实时数据采集、 数据订阅与分发、多云数据传输等场景。 DataPipeline 主要客户是金融、通信、能源、零售及互联网等业务水平与 信息化水平较高的客户。基于 DataPipeline 数据中间件产品构建的实时数据管 理平台已经在包括中国石油(4)、
中国人寿(32)、中国电信(126)、民生银行(224)、吉利集团(239)、法国威立雅(413)、龙湖集团(456)、星巴克(478)等多家世界500强企业和国内多家银行、保险、券商、制造等中国500强企业上线。 DataPipeline 团队成员来自中科院、Oracle、IBM、谷歌、亚马逊等国内外知名企业,并拥有数十年国内外大数据创新实践经验。DataPipeline 总部位于北京,在上海、深圳设有分公司,在全国多个区域设有办事处和服务机构。 截止目前,DataPipeline 已经获得金沙江、百度、经纬和峰瑞5轮轮融资。

 

icon创新积累icon

在技术、产品力、管理等方面获得权威机构认证,同时深度参与国家标准制定。

icon公司资质荣誉icon

完全自主知识产权产品,深度参与国家标准制定,广泛建立信创生态合作关系。

产品推荐 查看更多>>
    阿里云DataWorks大数据开发治理平台

    阿里云DataWorks大数据开发治理平台,覆盖数据研发全生命周期;日PB级数据同步;日千万级任务调度;1小时上手;大数据全流程研发;阿里数千名运营小二都在用;相比自研或使用开源工具,有效降低平台研发和运维成本,让您专注于业务本身。

    数据同步

    功能健全

    全托管

    租户隔离

    Talend数据目录

    数据目录会自动爬网,配置文件,组织,链接和丰富您的所有元数据。

    安全可靠

    使用便捷

    爱数工程勘察设计行业非结构化数据中台

    工程勘察设计行业非结构化数据业务流,致力于数据资产化、知识化的平台+生态整体方案。业务上下联动,数据上下贯通,建立标准图库,统一设计标准,AI智能搜索,快速查找图片。CAD图纸安全管控,防止图纸泄密,项目档案数据化、知识化能力。

    数据上下贯通

    统一设计标准

    AI智能搜索

    CAD图纸安全管控