立即咨询

电话咨询

微信咨询

立即试用
商务合作

火山引擎全域数据集成DataSail

火山引擎全域数据集成DataSail,依托抖音集团万亿级数据的接入和处理能力支持数据实时接收、处理、分发全流程的解决方案,助力企业数据快速入仓/湖,简单、可靠、稳定、弹性的数据采集和同步引擎,提供在各类复杂网络环境下进行高速稳定的批式、流式数据同步。
立即咨询
icon市场趋势&当前挑战icon

随着海量数据剧增、数据分析时效性需求增强、对于数据数据高效稳定采集和同步管理需求愈发强烈、同时需要一套完整的针对多种形态格式数据的实时接收、处理、分发全流程的管理手段,一方面将线下数据需要快速上云,实现离线流式数据安全、快速、高效地流入湖仓及各应用系统,增强数据时效性同时提升数据质量、减少数据维护成本。

使用效率低
线下数据维护成本高,数据不集中且形态复杂,同步效率低,数据流动性差。
数据时效性差
准实时、实时分析链路需要捕获最新数据、数据同步挑战难度大。
易用性弱
缺少流程管理,数据变动影响前端应用,波动较大时缺少有效的数据质量监测的手段
数据质量难以保障
流量日志及埋点体系设计门槛高,数据采集方案缺乏管理、无法有效保障埋点上线质量

 

iconDataSail产品定位icon
全域数据集成
简单、可靠、弹性伸缩的EL(T)数据采集和同步引擎,依托抖音集团万亿级数据的接入和处理能力支持数据实时接收、处理、分发全流程的解决方案;支持三十余种异构数据源通过增量或全量方式,在各类复杂网络环境下进行高速稳定的批式、流式数据同步。

 

icon核心产品能力icon
多源数据集成
支持三十余种异构数据源进行高速稳定
的批式、流式数据同步;
依托抖音集团万亿级数据的接入和处理能力支持流量数据实时采集和管理治理。
统一数据管理,开源替换
站式跨云跨网数据传输,为不同环境内异构数据的出入提供安全高效的传输枢纽中心,轻松对接火山引擎湖仓(EMR/LAS等)及各类业务系统。
智能管理运维
集成任务智能管理工具,提供任务起停、日志查看、报警监控、数据回溯等工具对已上线的任务进行管理运维

 

iconDataSail:全域实时数据链路icon

基于云原生和数据库日志读取(CDC)、消息队列(EDA,事件驱动架构)技术构建的自助式数据库复制/传输工具。

 

 

iconDataSail:核心功能icon

支持三十余种异构数据源进行高效稳定的数据同步,支持可视化向导式配置。

数据釆集
依托抖音集团万亿级别数据采集和处理能力,支持多种格式数据的实时接收、处理分发全流程的解决方案,实现流式数据安全快速地接入。
数据同步
安全可靠的数据同步能力,支持三十余种异构数据源通过增量或全量方式,在各类复杂网络环境下进行高速稳定的批式、流式数据同步
内容管理
成熟的需求管理、实时验证等工具帮助用户定义、管理和验证想要进行上报的实时数据,保证采集内容的准确完整。
任务管理
集成任务智能管理工具,提供任务启停、日志查看、报警监控、数据回湖等工具对已上线的任务进行管理运维。

 

 

iconDataSail:产品优势icon

支持全场景异构数据源集成,助力企业数据快速入仓/湖,简单、可靠、稳定、弹性的数据采集和同步引擎,提供在各类复杂网络环境下进行高速稳定的批式、流式数据同步。

一键入仓
数据库、API应用等离线数据一键入仓;消息队列、事件、日志等实时数据简单配置即可入仓;批流一站式入仓(湖)服务。
高可用
保障稳定性,全链路监控告警,提供精确一致、按事件时间归档、脏数据和流控报警
高吞吐
万亿级别采集处理,支持每秒亿级别吞吐量,单数据集每日TB级写入量。
易用性高
向导式配置,无需编写SQL/代码等。集成任务智能管理运维,提供任务启停/日志查看/报警监控/数据回溯等运维最佳实践。

 

iconDataSail:场景概述说明icon
IDC上云/中台搬站
01 整库搬迁解决方案,省成本
支持整库迁移解决方案,如把一个MySQL DB库内所有表一并同步到LAS中,可将云下数据快速上云,节省搬迁成本易上手,低运维:支持可视化任务创建/运维。
02 先进的技术能力
先进的技术引擎底座、经过抖音等业务线亿级用户反复锤炼夯实,内部已完成成熟度与价值的验证。
他云搬站
01 准实时
实时汇聚和产出多种日志数据,满足业务对实时数据的需求,支持广告、推荐等实时场景下快速做出业务反应
02 整库CDC解决方案,省成本
基于云原生和数据库日志读取(CDC)构建的自助式数据库日志同步工具
03 技术服务
原厂人员协助上云,割接后的持续技术支持
日志一键落仓
01 替换成本低,低运维
采集方式多:减少多个SDK接入和维护成本;衔接集成能力,统一分发至下游应用/落仓等
02 高性能
依托抖音集团万亿级数据的接入和处理能力支持每秒亿级别的数据吞吐量,支持单数据集每日TB级别的数据写入量。
03 事件管理治理
成熟的需求管理,实时验证等工具帮助用户定义管理和验证想要进行上报的数据,保证质量。
云上存储/应用间数据流动
01 搜索分析场景
例如:MySQL->ES
02 OLAP分析场景
例如:Hive/LAS->EMR Doirs/StarRocks,
Kafka->EMR Doirs/ starRocks
03 标签服务场景
例如:Hive/LAS->ES/HBase

 

iconDataSail 应用场景1:整库迁移/CDC解决方案/大数据实时分析icon

整库迁移支持通过批量创建同步任务,如把一个MVSOLDB库内所有表一并上传到LAS中;整库CDC支持一键同步一个库内的多张表,先进行全量同步,后进行CDC实时同步。

 

 

 

 

iconDataSall应用场景2:多源日志采集/跨云数据迁移icon

提供SDK、API、Agent多种采集方式,支持数据库CDC、服务器日志、前端埋点日志等进行数据采集,并衔接集成进行数据快速落仓、支持跨云数据采集产品迁移,也支持源业务端直接进行日志采集;支持采集数据一键落火山湖仓解决方案。

 

 

 

iconDataSail应用场景3:事件管理解决方案icon

结合字节内部电商、广告、抖音等业务线多年沉淀的实践总结,成熟的需求管理、实时验证等工具帮助用户定义、管理和验证想要进行上报的数据,保证上报质量日志上报数据管理有痛点,埋点数量过大,影响重要业务运营,影响计收等企业可以埋点质量管理。

 

 

icon客户案例 - 某国内领先的线上教育机构icon

所属行业:泛耳         核心应用场景:实时分析系统
客户简介
某 K12在线教育客户。作为国内领先的教育数字化服务专业机构,客户专注于研发高质量的 数字教育资源和系列产品应用。近10年成立以来,已,发展为国内知名的“互联网+”教育综合性解决方案提供商。

业务痛点:

① 资源成本使用较高、模型混乱,数据缺乏统一口径;

② 数据依赖关系混乱,数据可用性低,维护成本高,缺乏有效的数据质量监测的手段数据易用性低,脏数据占比高;

③ 缺少流程管理,数据变动影响前端应用,波动较大,缺少体系化的埋点方案,埋点方案缺乏监控和管理;

④ 埋点数据质量不高,存在重复埋点,埋点缺乏版本管理,历史埋点难追溯。

解决方案
1、数据采集链路采用全托管数据采集服务,极大降低客户运维成本。
2、通过将客户端上报切到火山云,DataSail提供客户端数据上报方案,提供改造版SLS iOS 和SLS Android SDK,辅助客户快速替换成新SDK 双发开关,通过数据双跑校验,确保切换期的双跑验证采用,对业务侧影响最低,降低迁移成本。
3、基于数据指标需求设计新增埋点&新增属性,按照场景化模型进行线上化埋点设计极大降低埋点设计门槛。
4、埋点验证打通需求管理,支持按照埋点方案自动对比埋点上报日志,产出验证报告大大提高测试效率至少提高一倍,并有效保障埋点上线质量。
 

 

 

产品推荐

腾讯云慧眼E证通
腾讯云慧眼E证通是腾讯云慧眼与权威机构合作研发的,基于腾讯云人脸核身技术在微信小程序上提供的权威、统一、合规的身份信息核验服务,面向互联网金融,共享经济以及其他互联网行业的应用,为应用线上线下身份真实性验证与数字身份应用提供重要参考依据。
免费试用
查看详情
数据中心SDN控制器
RG-ONC-DC开放网络控制器采用Java OSGi模块化技术架构,在满足软件包可扩展的同时,支持组件在线升级,并兼容多个版本同时运行。RG-ONC-DC是锐捷网络针对数据中心类场景推出的SDN控制器产品。
免费试用
查看详情
易知微EasyV数字孪生可视化平台
易知微以EasyV低代码数据可视化工具为核心,结合WebGL、echarts、GIS、BIM和倾斜摄影技术,打造实景三维数字孪生和数据中台数字化转型解决方案,覆盖智慧城市,智慧水利,智慧园区,智慧工厂,数字乡村等场景,构建数字孪生城市、数字孪生园区、数字孪生工厂、数字孪生流域的全场景全要素数字化能力,促进数字经济发展。
免费试用
查看详情
亿联云跨境电商专线
亿联云跨境电商专线,解决电商企业访问国内、国际网络慢,不能有效管理店铺等问题,实现快速、精准、高效的访问全球电商网络资源。采用边缘云路由技术,参考全球IP地址库进行路由智能判断和自动选择。对用户访问的目标地址所在的运营商选择最佳的网络出口, 从而实现快速、稳定的访问。
免费试用
查看详情