iconData Formula简介icon
Data Formula是由DataHunter(数猎天下)自主研发的一款企业级数据中台软件产品。其基于并行计算技术架构,具备操作简单、部署灵活、快速响应等特点。Data Formula可广泛应用于各行各业,从百亿级数据量的企业到各垂直中小企业,专注为企业提供数字化运营基础平台,解决各行业的业务数据分析需求。
Data Formula可以帮助企业搭建功能完整的数据中台,提供了从数据汇聚、数据处理、模型管理,任务调度,算法管理,数据服务于一体的完整解决方案。Data Formula致力于帮助企业快速搭建数据基础平台,及时通过数据发现问题进而改进业务。
iconData Formula 面向场景的数据中台icon

提升企业数据治理及应用的效率,快速落地

实施简单,迅速实现
摒弃“大而全”,面向垂直业务场景,让企业更快部署中台,更快见到效果。
减少研发,节约成本
业务前端需要的数据应用能力均可以经过数据中台进行实现,确保前端业务轻量化。
数据治理,改善业务
打通企业数据孤岛,所有数据统一管理,数据质量自动检查、监控,及时发现数据质量问题。
数据资产,竞争壁垒
打造企业数据资产,实现业务和数据的相互赋能,助力数据资产持续增值。
iconData Formula核心价值-消除数据孤岛,整合业务数据icon
众所周知,我国的企业信息化发展相对落后,企业早期缺乏长远的IT建设规划,发展至今,各个业务系统仍相对独立,导致数据孤岛长期存在。随着大数据时代的到来,数据来源变得多样化,数据结构也更加复杂化,这使得企业在数据采集、ETL等方面会耗费很大精力。业务数据的过度分散,让企业很难从全局角度去分析业务的发展情况。
针对企业数据孤岛问题,Data Formula提供了完善的解决方案。基于自主研发的数据连接器框架,Data Formula可以对接企业内各个业务系统,包括ERP、CRM、财务系统、日志系统等,帮助企业整合所有业务数据,还可以对接数据文件、API,NoSQL数据库等。此外,Data Formula基于并行计算架构的存储体系,支持海量业务数据的处理,确保数据需求响应速度可以达到秒级。
iconData Formula核心价值-数据资产管理,掌控企业数据脉络icon
企业数据资产,包括了数据模型,数据指标,数据目录,以及针对这些数据资产的治理管理能力,包括元数据,数据标准,数据质量等。Data Formula摒除了传统数据管理模式中,复杂,难以理解的数据管理方法,改用业务视角的数据管理模式,从数据模型的增删改查,到数据的可视化加工处理的管理,都让数据管理的复杂度进一步降低。可以使得数据管理人员,甚至业务人员能更好的理解数据。
Data Formula还重新设计了数据治理模块,让数据质量的概念贯穿于整个数据开发流程中去,更好的体现了数据为业务服务的思想。除此之外,数据图谱也得到了重新的设计和梳理,更方便的查看数据的处理演变过程,数据血缘关系,为数据业务化提供了进一步的支持。
数据标签算法,挖掘数据价值
企业数据在完成数据清洗治理后,可以通过标签开发,算法开发,对数据进行挖掘增值。标签开发功能中,可以通过统计,规则,算法等方法针对目标数据生成对应的标签体系,对数据进行维度扩增,可以再通过分群功能,对目标数据进行分群分类。该方法可以应用在用户洞察,业务洞察等场景。算法开发功能通过集成Python引擎,支持常见的普通算法与机器学习算法,算法可以在Data Formula上进行测试,训练,并将训练好的模型应用至数据皆工流程中去。
数据服务API化,提升共享效率
数据中台另一项重大的改进就是数据服务化,通过自定义的数据服务API,数据中台可以快速的响应前端业务需求变化。不同于以往的数据仓库产品,Data Formula无须通过数据库的账号和密码进行数据共享。数仓时代的账号密码方式,有诸多弊端,一个是数据安全性无法保证,另一个数据服务性能无法保证。在新的Data Formula自定义API的服务模式下,操作人员可以通过界面配置,直接使用Restful API的模式暴露数据,提供给前端应用,可以增加数据权限校验,也可以通过缓存,增加API的数据服务性能,更好的为前端业务系统服务。
iconData Formula产品特性icon
异构数据源整合
兼容多种数据源,可接入企业内部各类业务系统API、各种经典关系行数据库(Oracle, SQL Server, MySQL, DB2等),各种NoSQL数据库(MongoDB等),各种数据文件(CSV, EXCEL),还有其他公共数据服务等来源,兼容各种数据源类型,轻松集成整合所有相关业务数据;
数据模型管理
可以根据不同的业务域,组织管理数据模型;支持数据模型的增删改查;支持模型的复制,修改和再定义,满足业务快速变化的需求;
数据加工处理
中台产品支持标准的数据处理算子,通过算子堆叠和任务调度,完成数据从一个数据集到另一个数据集的转换过程,替代了传统的人工ETL过程,随着模型和数据集的调整,对应的转换过程也可以自动调整;
数据算法(AI)管理
为了更好的发掘数据价值,Data Formula数据中台支持复杂的数据算法,机器学习算法,可以利用数据,对AI算法进行训练,并将训练好的模型引入数据处理过程中去,进行复杂数据处理和业务处理;
数据标签管理
可以通过统计规则,算法等方法,对数据进行维度扩增,建立标签体系,并可以通过标签进行数据分群分类;
数据治理功能
重新设计了元数据,数据标准和数据质量管理功能,从最新的数据处理的理念出发,将数据质量的概念引入数据处理流程中,保证用户对数据的质量有一个全面的掌控,并可以对数据质量进行优化;
数据API服务
数据中台中,对外输出数据服务均通过API完成,Data Formula提供配置化的API能力,可以通过简单的配置将数据集转换为数据API,供前端应用使用,同时API还能具备权限控制和数据缓存能力,提升系统响应能力;
流式数据处理
针对目前比较流行的IOT数据场景,以及其他流式数据处理场景,Data Formula提供了完整的流数据处理能力,方便将流式数据进行存储推送,并同步进行计算,汇入数据中台。
iconData Formula技术架构icon

Data Formula整体基于B/S架构,业务人员可以通过浏览器,操控企业数据资产,并对其进行管理,加工和输出;Data Formula主要分为十四大模块,采用标准的微服务架构,每个模块相对独立,可以独立升级维护;同时也可以根据客户实际情况,选择性的部署其中的一部分模块。

iconData Formula功能描述-数据抽取管理icon

Data Formula支持多种数据源类型,包括离线数据文件、各种主流关系型数据库,NoSQL数据库,多维数据库以及第三方系统API接口。Data Formula支持对上述数据源进行数据抽取,用户可以自定义抽取任务的时间,频率,以及导入的具体条件,可以进行一次性全量导入操作,也可以通过定时任务的方式进行增量数据导入操作。Data Formula可以通过前置节点,进行跨网段的数据导入和抽取,支持传输过程加密。同时Data Formula的数据连接器框架也是开放结构,具备二次开发能力,可以根据客户实际情况进行定制开发,接入特定数据源。

iconData Formula功能描述-数据接收管理icon

Data Formula也可以通过数据订阅功能,被动接受业务系统,IOT采集网关等设备主动上报的数据,数据格式支持JSON,XML等,可以通过路径映射,或编码解析的方式,将数据映射至二维数据表。

iconData Formula功能描述-数据目录管理icon

Data Formula数据资产管理功能中,可以通过数据模型定位到数据集,也可以通过数据目录定位到数据集。针对每一个数据集(归属于模型或离散的),用户都可以查看浏览该数据集的基本信息,血缘关系,以及对应的数据质量。用户也可以针对该数据集进行进一步的后续操作,进行数据转换加工,纳入某一特定业务模型或将此数据集共享至数据服务。Data Formula中的数据血缘关系,通过数据集与数据集之间的转换关系进行描述,每一个数据变迁过程,都可以追溯到具体的字段以及变化内容。

iconData Formula功能描述-数据模型管理icon

Data Formula从业务数据应用场景出发,采用业务域的方式,对数据模型进行管理,用户可以直观的通过图形方式,进行业务建模(星型模型,雪花模型),也可以对数据模型进行增删改查操作,或者进行复制,修改等操作。通过基于数据模型的管理方式,可以确保在数据中台内,数据的业务一致性和完整性,该管理方式是Data Formula数据管理方法论中的核心理念。

iconData Formula功能描述-数据指标管理icon

Data Formula数据中台中,摒弃了传统的二维表格式的扁平化的指标管理方式,通过数据图谱,更加清晰的表达了数据指标的计算逻辑和关系,方便用户进行指标管理和查询。数据指标在定义完成后,可以通过数据服务,对外发布,方便外部系统,查询指标定义和计算逻辑。

iconData Formula功能描述-元数据管理icon

元数据通常又可以分为技术元数据,业务元数据以及操作元数据。在Data Formula产品设计中,因为所有的操作行为均可以由系统自动记录,并通过数据资产的血缘关系进行展示,所以元数据管理功能中,只保留了技术元数据以及业务元数据。元数据的生成方式,可以跟随数据来源,由业务系统导入,也可以在Data Formula平台上进行手动维护管理。

iconData Formula功能描述-数据标准管理icon

Data Formula数据标准功能支持标准的定义和发布,发布过程需要管理员的审核和批准。数据标准可以自动映射至元数据,以及元数据对应的数据字段,自动进行评估,输出评估统计结果,了解整体数据标准建设情况。

iconData Formula功能描述-数据质量管理icon

Data Formula的数据质量管理,以数据标准为数据检验依据,以元数据为数据检验对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

主数据管理
通过Data Formula的主数据管理功能,保证各个系统间共享数据的一致性、完整性、可控性、通用性、正确性,帮助企业创建并维护主数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。产品支持集中式和分布式两种管理方式,严格规范主数据的新增、变更、审核等流程,实现对各类主数据的全生命周期管理,可通过手工新增、导入、接口传输等多种方式汇集主数据,并提供全方位质量检查,保证主数据质量。
流式数据处理
数据处理核心体系的另一个数据处理方式为流式数据处理。Data Formula可以对接以MQTT为代表的IOT数据消息队列,也可以对接Kafka,处理流式业务数据。所有的流式数据,可以进行实时计算,并将结果汇入Data Formula统一数据引擎,还可以同时存入InfluxDB这类的时序数据库,也可以直接通过Data API,透传至用户侧的数据应用。通过这种流式数据棱镜式的处理方式,可以将流式数据的管理和传统企业侧数据管理模式统一起来。
iconData Formula功能描述-任务调度管理icon

任务调度作为数据处理的核心能力之一,在批量式数据处理过程起到了关键性的作用。Data Formula中针对各类数据处理任务,提供了统一的任务调度管理功能。在任务调度管理模块中,可以看到数据中台内部所有的数据处理任务,包括数据抽取,数据开发,数据推送,质量校验等,以及这些任务的状态,执行历史等信息。

流式数据处理
数据处理核心体系的另一个数据处理方式为流式数据处理。Data Formula可以对接以MQTT为代表的IOT数据消息队列,也可以对接Kafka,处理流式业务数据。所有的流式数据,可以进行实时计算,并将结果汇入Data Formula统一数据引擎,还可以同时存入InfluxDB这类的时序数据库,也可以直接通过Data API,透传至用户侧的数据应用。通过这种流式数据棱镜式的处理方式,可以将流式数据的管理和传统企业侧数据管理模式统一起来。
日志审计管理
作为数据中台,企业的数据心脏,用户的操作日志记录审计也是必不可少的功能。Data Formula能够将系统内所有的用户操作行为进行记录,包括数据导入,数据转换,数据共享等各个环节。系统操作审计日志具备防篡改能力,可以随时进行查询浏览,保证了企业数据安全。
iconData Formula功能描述-数据清洗加工icon

Data Formula的数据加工处理功能,完全可以替代传统的数据ETL过程。数据中台理念中,通过数据的先期导入存储,后续根据业务要求,灵活加工,将传统ETL过程转化成了ELT过程,保证了数据业务的灵活性,快速的满足业务需求。数据Transform的过程中,Data Formula提供了很多数据转换子操作,用户可以灵活的根据业务需要进行组合,从而形成一个功能强大且完整的数据处理流程。在快速满足业务需求的同时,轻松替换传统ETL。

iconData Formula功能描述-数据标签管理icon

数据标签功能,主要用于数据的维度扩增,通过统计,规则,算法能方式产生针对目标数据的标签体系。可以使用标签功能,进行业务数据标签化,通过业务标签数据集和业务数据集关联,可以形成基于标签的新业务模型。Data Formula中,提供了配置式的标签生产能力,可以帮助用户快速构建标签体系。数据标签体系,和基于标签的数据分群分类功能,通常用于用户洞察,业务洞察,帮助用户更好的开展业务,分析业务。

iconData Formula功能描述-数据算法管理icon

Data Formula内置了Python引擎,支持用户自定义算法,用户可以将自定义的Python算法引入Data Formula,也可以使用Python中已有的算法,对数据进行加工处理,Data Formula中可以将机器学习(AI)算法和平台内的数据进行结合,从而进行模型训练,测试。

iconData Formula功能描述-数据服务管理icon

数据服务能力是数据中台区别于数据仓库的核心区别之一。传统数据仓库通过用户名/密码的方式,对外输出数据,这种方式存在较大的安全隐患和性能隐患。在Data Formula数据中台设计理念中,使用数据服务API的方式,对外提供数据服务。API的方式,可以较为灵活的对数据权限进行控制,也可以对访问的压力进行缓冲,从而缓解性能瓶颈。Data Formula产品中,用户可以通过配置的方式,快速生成一个数据服务API,无须进行任何代码的编写。数据服务API采用标准的Restful形式,数据使用标准的JSON / XML,方便业务系统进行对接。

iconData Formula功能描述-用户权限管理icon

Data Formula采用标准的用户角色权限管理模式。所有的功能,数据都可以根据角色/权限进行分配调整。在大部分实际业务场景中,用户权限角色体系,需要和企业的用户管理,权限管理体系打通,Data Formula在设计的时候就考虑到了这样的实施场景,可以方便的进行对接。用户角色权限体系即可以深度对接,所有的权限管理,均在第三方系统内完成,也可以只进行用户认证体系对接,权限控制依然在中台体系内。具体的对接方式,可以根据业务场景灵活选择。

iconData Formula核心技术icon
微服务架构
Data Formula产品采用标准的微服务架构,各个模块相对独立,可以针对性的进行模块优化和升级。降低了系统之间的耦合度,为产品提供了更好的业务适应性;
 
Java体系
Data Formula中部分模块使用Java语言进行开发,针对某些特定的二次开发场景,Java语言是一个更为通用的开发体系,可以快速的上手和维护。
 
 
Go体系
Go语言作为一个高性能开发语言,在Data Formula中,涉及性能要求比较高的模块,均采用Go作为开发语言,保证了整体系统性能。Go体系经过长期的发展,已经非常成熟,也可以降低一部分系统部署复杂度。
DH Data Engine(MPP + 内存混合数据引擎)
作为数据中台的核心引擎,数据的快速处理能力,是重中之重。DataHunter独有的MPP + 内存混合并行计算架构,可以为数据业务化提供强劲的支持。该技术融合了并行计算架构和内存结算架构,可以充分利用内存,释放硬件能力。
icon部署运行icon
部署方式

Data Formula支持多种部署方案,可以独立部署至企业内网,也可以采用混合云架构,部署至企业私有云,或者直接使用DataHunter提供的公有云部署环境。同时Data Formula支持企业内部Windows域、VLAN、VPN等网络环境,从而确保企业在不同的网络环境下都可以使用Data Formula,满足企业的实际应用需求。

系统要求

Data Formula支持市面上几乎所有的主流操作系统,包括Windows Server,Linux,Unix等。针对Linux的众多发行版,Data Formula也都有很好的支持,如CentOS、 Ubuntu等。针对国产化需求,Data Formula产品同样支持各种基于Arm架构的国产Linux操作系统:深度、红旗,麒麟等。

浏览器要求

Data Formula的访问和管理界面,可以通过浏览器进行,属于标准的BS结构产品,因为在开发中使用了前后端分离的技术,也可以根据客户需要,将前端应用直接打包成PC端应用程序。Data Formula目前支持主流的浏览器,包括:Chrome、Firefox、IE edge 等多种常用浏览器。大多数情况下,我们建议您使用Chrome浏览器。

产品推荐 查看更多>>
    光启元RayDatPlus商业版

    RAYDATA商业版是光启元基于C/S架构开发的3D数据可视化系统设计和实时渲染的工业软件。软件将设计创造性、交互逻辑、三维动画、数据接入等多类技术,集成在一个具备强大实时渲染功能的三维环境中。利用强大而灵活的基于节点的创作系统,用户可以轻松搭建出专业的可视化交互系统。

    节点创作系统

    多种信息融合

    场景实时渲染

    配套工具体系

    蜂鸟视图智慧厂务管理系统

    蜂鸟视图智慧厂务管理系统,以安全生产为核心,以空间可视化为切入点。通过引入和结合现有智能硬件设施,依托互联、物联技术为支撑,实现对厂区人车物与基础设备等信息的实时采集、可靠传输和智能处理。提供物流车辆定位监控、车辆任务管理、车辆违规驾驶报警、任务路线执行导航等功能。

    车辆管理

    围栏管理

    触警管理

    轨迹回放

    奇点云DataMaleon数据可视化开发平台

    奇点云DataMaleon是图形化、零编码的数据可视化开发平台,帮助企业自主搭建专业的数据可视化应用,快速实现数据呈现、实时监控、智慧决策、数据分析等功能,简单高效、炫酷生动,满足多元场景展示需求,用视觉语言展现数据美学。

    数据呈现

    实时监控

    智慧决策

    数据分析