企业发展过程中面临多种数据、技术、数字化转型难题，亟需一套机制将新老数据模式进行融合升级，打通孤岛数据、降低技术门槛、并推动企业数字化转型支撑业务数据的经营决策。

数据分散：业务涉及数据源类型繁杂、数据存储系统分散，业务数据之间彼此孤立难以协作共享。标准不一：业务烟囱型系统林立，系统功能和业务数据重复建设，并且数据间基本结构和标准不统一难以融合流通。

技术种类和门槛高：项目涉及数据技术种类多、研发人员无法快速全面掌握各类型系统及技术间差异，短期内难以搭建异构数据间的通用管道。历史包袱重：数据和系统历史包袱多、人员更替快，业务人员难掌握核心数据的底层逻辑急需嫁接新系统，保留原始数据并完成二次开发改造。

架构转型：配合企业发展中的数字化转型进程，业务急需建立统一、高效、安全可靠的数据架构以快速响应业务数据需要，实现数据价值最大化。业务上云：缩减人力和存储成本，业务系统和存储转向云上服务。

DataInLong 孵化于由腾讯主导的Apache 开源社区项目 InLong（应龙），依托Inlong万亿级别的数据接入和处理能力支持数据采集、汇聚、存储、分拣数据处理全流程。2021年12月，正式对外提供云上的一站式海量数据集成服务。

DataInLong 是一个高效稳定的多源数据集成工具，在跨云跨网环境下提供可靠、安全、敏捷的异构数据源集成与移动能力。三大核心定位：

主要提供数据链路配置（读取、写入、转换）、解决方案、运维管控等功能：

一 个中心：聚焦数据集成场景，覆盖数据采集、汇聚、存储、分拣处理全流程。二 种粒度：针对单表、多表（单库多表、分库分表）两类对象，锁定用户路径、简化技术配置、降低使用门槛。三 类特性：通过操作轻量化、过程可视化、能力开放化能力辅助企业快速提炼业务数据价值。四 大保障：提供全方位数据保障、运维保障、安全保障、效率保障。

离线同步：实现数据主动抽取，实时同步：被动监控数据变更，进行实时刷新动态同步。

关系型数据库、大数据存储、非结构化数据、消息队列等读写任意搭配

支持数据接入(E)、清洗与打宽(T)、数据加载(L)全流程，提供可视化数据链路配置与拖拽式多元节点管理，支持多种同步策略配置

支持以业务特性为导向灵活定义数据来源、去向，关联配置数据字段及类型映射关系，稳定保障不同数据类型结构转换一致性和可用性

总结不同业务领域、技术选型、和网络环境中最佳实践，产品化整库迁移类、数据同步类、网络工具类解决方案，支持用户通过简单轻量化配置即可解决复杂项目瓶颈

可视化运维及指标监控，支持任务/链路/节点级数据变化及异常监控，提供同步性能、脏数据、流量、资源使用监控以及数据权限安全控制，覆盖电话、邮件、短信、企业微信、微信和http等多种告警能力

DataInLong通过快速连接和融合云上或云下自建的各种数据，解决业务数据上云、数据平台构建、数据库迁移备份，以及业务升级、整合，数据访问加速、全文检索等多个场景中数据整合和同步流转问题。

DataInLong集成引擎采用融合架构模式，统一集成配置方式支持轻量和海量场景灵活切换，覆盖主动采集、主动上报、缓冲和数据转换等全场景功能。引擎支持全托管运维，同时基于容器动态启动资源支持弹性资源使用。

DataInLong 集成引擎采用星型数据模型，支持多种读写数据源进行 任意组合搭配，具有强大的可扩充性和灵活性。

DataInLong引擎架构采用 批流一体，使用消息中间件缓存数据，同时采用重放消息+实时计算+窗口结合的方式完成批数据处理。