苏宁科技大数据开发工具_离线大数据开发系统

苏宁科技大数据开发工具

苏宁科技大数据开发工具，星型数据同步结构，支持20+种异构数据源的数据交换。多种数据源之间的数据交换能力，支持全量数据同步、增量数据同步、批量数据同步、离线数据同步、实时数据同步、本地文件上传。提供复杂依赖、稳定可靠的每天百万级任务调度能力，提供丰富的监控告警、任务智能诊断和生产任务自助降级能力。

立即咨询

首页 > 产品中心 > 数据开发与治理 > 苏宁科技大数据开发工具

业务痛点获取数据难 icon

数据来源分散、存储方式不一、数据类型多样，难以统一采集、管理。

业务痛点开发效率低、技术成本高 icon

数据分析过程涉及大量数据开发工作，传统开发方式使得场景复用程度低，造成重复开发，各业务各自维护一套技术栈，使得开发人员学习成本高、技术重复建设，进而带来业务需求响应慢、企业整体技术维护成本高的问题。

哪些企业需要开发工具？ icon

数据中台产品鸟瞰

苏宁大数据开发工具

苏宁大数据开发工具

大数据开发工具产品

工具集成，简化操作，极致效率，服务应用

数据集成平台-多种数据源之间的数据交换能力 icon

多种数据源支持

星型数据同步结构，支持20+种异构数据源的数据交换。

同步方式

支持全量数据同步、增量数据同步、批量数据同步、离线数据同步、实时数据同步、本地文件上传。

数据集成平台-多种数据源之间的数据交换能力 icon

数据集成平台-多种数据源之间的数据交换能力 icon

离线开发工具-简易开发 icon

支持基于拖拉拽的配置化开发、基于Hive和SparkSQL的在线开发以及JAR包直接上传

低门槛

支持拖拉拽式任务流编排、可视化SQL模式在线开发，配置化开发，自带多种辅助功能，包括版本管理、自定义函数等。

功能优势

支持多引擎、多版本自助切换；

支持Hive、MapReduce、Spark、SparkSQL、Python、PySpark等多种类型任务的开发模板；

支持配置/程序/数据的资源共享管理。

离线开发工具-任务调度 icon

任务调度：提供复杂依赖、稳定可靠的每天百万级任务调度能力

适用场景

适用于离线数据复杂业务场景的任务运行调度

功能优势

丰富的调度场景：支持一次性、分钟、小时、天、周、月，支持任务按照工作流指定执行时间及执行频率自动进行周期性调度，提供托管式任务运行调度服务；复杂的调度依赖：时序依赖 \ API事件依赖 \ FTP事件依赖\批次依赖 \ 跨调度频率依赖调度；优先级调度：支持任务按高中低优先级进行调度。稳定可靠的每天百万级任务调度能力（可根据实际场景扩缩容）

离线开发工具-智能运维 icon

智能运维：提供丰富的监控告警、任务智能诊断和生产任务自助降级能力

基础运维

支持任务的上线、下线、重跑、补数、异常忽略等运维能力

监控告警

任务监控告警：支持对运行状态、开始时间、结束时间、执行时长等根据优先级、是否轮询、异常次数、预警方式的维度进行监控和预警；基线监控告警：针对基于全链路的基线监控告警能力，支持任务超时、异常的链路分析和预警；

智能诊断

任务详细日志、提供任务底层运行分析，运行状态分析

任务自动降级

支持任务自动降级规则化、降低生产任务异常的运维成本

实时开发工具-智能在线SQL开发 icon

在线SQL开发：支持实时数据的SQL开发能力

低门槛

支持可视化配置及SQL模式在线开发，自带多种辅助功能，包括在线测试、版本管理、SQL格式校验等。也支持JAR包上传。

功能优势

支持基于组件和SQL的数据清洗、计算、同步和关联维表；支持丰富的内置函数与自定义UDF函数能力。

异常诊断任务详细日志查看

运维监控

实时展示队列资源情况，及时了解任务资源占用情况；可视化的任务启动、停止、变更版本、查看日志等操作；任务级、jobmanager 、taskmanager等多维度监控告警。

数据探查工具-在线数据查询与分析 icon

面向数据开发和数据分析人员、提供基于SparkSQL的标准数据查询和分析能力。

可视化SQL编辑

支持可视化开发和调试功能，支持数据预览和SQL语法校验。

开发模板共享

支持开发任务脚本的团队内模板共享。

历史数据查询

针对历史执行的查询任务、支持历史查询预览数据集的查询和管理。

安全访问增强

增强结果集安全能力，如禁止复制、执行超时、预览数量等配置功能，同时支持页面水印、探查资源管理等能力。

主要竞品及其主营市场 icon

苏宁数据开发产品优势 icon

支撑苏宁易购近10年业务发展的数据需求，保障了1000+个数据系统的正常运行与调度，支撑着4000+用户标签和3000+固化报表的建设，具有35PB+的日数据处理量，形成数据处理闭环，提高数据开发效率80%，产品安全性、稳定性、健壮性有保障，外部企业可以按需部署。

数据集成工具

Binlog实时加载：日120GB吞吐

离线数据交换：日20TB吞吐

Kafka数据流交换：日100TB吞吐

离线开发工具/实时开发工具

日百万级任务调度

日计算35万亿次

最小规模和支撑能力

苏宁科技 — 最专业的企业数字化专家 icon

20+年数字化零售/转型经验
依托苏宁易购20多年在数字化

零售转型方面的经验积累和沉淀

提供数字化零售全链路解决方案

提炼各零售场景的最佳实践

多业态经营的实战经验
拥有广场、电器、百货、母婴、快消等等业态，自营、强&弱加盟、B端分享、合伙人、租赁等不同经营模式。

众多行业专家和核心专利
近百位专家覆盖解决方案、业务及技术架构、实施等各环节。拥有近百件核心专利，依托大数据、人工智能、云计算，在应用开发、业务运营、企业管理、数据和信息处理等领域进行全面保护。

企业简介 — 500+全栈成熟人才，快速全方位满足需求 icon

通过苏宁全链路智慧零售实践基础的构建和迭代，形成了一支高学历、高素质、经验丰富、专业可靠的全栈IT团队。

80 人业务咨询和解决方案
来自世界TOP咨询公司和国内知名互联网、零售企业的业务咨询和业务架构团队；诸多中大型企业和项目的服务经验。

350 人产品设计和实施
来自国内知名互联网和IT公司的产研人员拥有从产品和架构设计到技术研发实施全链路的完整人才储备，以3-8年成熟型人才为主，均参与过诸多大中型项目，解决问题能力强。

80人交付和售后服务
为各中大型互联网企业和IT公司售后和交付人员；有诸多中大型项目的交付、售后维保经验，以解决问题为导向。

产品推荐查看更多>>

Talend数据集成

Talend数据集成是一个企业数据集成工具，用于连接、访问和管理从任何源到几乎任何目标的任何数据。

高效稳步

功能完备

立即咨询查看详情

能力开放平台

云徙科技企业数字化营销平台通过在酒水、地产、快消等多个行业的灯塔客户应用和验证，形成了完整的企业数字化营销业务能力组件。面对企业数字化营销业务里日益复杂的需求，云徙能力开放平台让这一切变得简单。

高效稳定

功能完备

立即咨询查看详情

够快云库非结构化数据中台解决方案

够快云库非结构化数据中台解决方案将分散在各个系统和部门中的非结构化数据集中管理。目标是建立一个统一的数据平台，方便数据的查找、访问和共享，提升运维效率，提高数据的整合性和一致性。提高非结构化数据的利用效率。通过智能检索、数据挖掘和分析等功能，快速定位和获取需要的数据，加速决策过程，提高业务流程的效率和准确性。实现智能化和自动化的数据处理。例如，自动化的数据清洗和标准化，自定义元数据的添加和管理，智能检索和推荐等功能，提升数据处理的效率和准确性。

数据整合集中管理

数据利用效率提升

数据安全与合规性

智能化自动化处理

立即咨询查看详情

数字化社区查看更多>>