阿里云云原生大数据计算服务MaxCompute_实时离线一体化数仓

阿里云云原生大数据计算服务MaxCompute

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析，将数据高效转换为业务洞察。

立即咨询

首页

数字化产品

数据开发与治理

阿里云云原生大数据计算服务MaxCompute

MaxCompute - 产品技术背景 icon

MaxCompute - 产品介绍 icon

阿里云云原生大数据计算服务MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能，支持数据保护和安全共享，数据/生态开放，可以满足数据仓库/BI、数据湖非结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景需求。

简单易用，SQL 可以支持全部数仓开发场景。多引擎，集成Spark，分布式Python（Mars），图计算等引擎，支持多业务场景，无缝对接开源生态，可上可下开放的接口和数据通道。统一元数据、统一的账号和权限体系，完善的企业级安全能力，云源生的多租户系统，安全高效的跨业务&跨组织数据连接与共享。自适应的按需弹性资源，精准匹配业务规模的变化，避免资源浪费或不足。业务负载隔离，消除业务间资源争抢。支持TB到EB级的大规模部署应用和扩展；连接广泛外部数据源，支持结构化和非结构化数据存储、处理和分析，支持联邦计算。积累多年双11自动优化和稳定可靠能力，全托管免运维+阿里最佳实践专家服务支持。

MaxCompute - 产品架构 icon

产品优势

为业务敏捷而生的简单、易用、全托管的 SaaS 模式云数据仓库服务

简单、易用

面向数仓优化高性能存储、计算；多服务预集成、标准SQL开发简单；内建完善的管理和安全能力；免运维，按量付费、不用不花钱。

匹配业务发展的弹性扩展

存储和计算独立扩展，动态扩缩容，按需弹性，无需提前容量规划，满足突发业务增长。

支持多种分析场景

支持开放数据生态，以统一平台满足数据仓库、BI、近实时分析、数据湖分析、机器学习等多种场景需要。

开放的平台

支持开放接口和生态，为数据、应用迁移、二次开发提供灵活性；支持与AirFlow、Tableau等开源和商业产品灵活组合，构建丰富的数据应用。

产品功能

全托管的Serverless在线服务

对外以API方式访问的在线服务，开箱即用；预铺设的大规模集群资源，近乎无限资源，按需使用和付费；无需平台运维，最小化运维投入。

弹性能力与扩展性

存储和计算独立扩展，支持企业将全部数据资产在一个平台上进行联动分析，消除数据孤岛；实时根据业务峰谷变化来分配资源。

统一丰富的计算和存储能力

多计算模型（MR，DAG，SQL，ML）和丰富的UDF，采用列压缩存储格式，通常情况下具备5倍压缩能力，大幅节省存储成本。

与DataWorks原生集成

一站式数据开发与治理平台DataWorks，可实现全域数据汇聚、融合加工和治理，支持对MaxCompute项目进行管理以及web端查询编辑。

集成AI能力

与机器学习平台PAI无缝集成，提供强大的机器学习处理能力；用户可使用熟悉的Spark-ML开展智能分析；使用Python机器学习三方库。

深度集成Spark引擎

内建Apache Spark引擎，提供完整的Spark功能；与MaxCompute计算资源、数据和权限体系深度集成。

湖仓一体

集成对数据湖（OSS或Hadoop HDFS）的访问分析，支持外表映射、Spark直接访问方式开展数据湖分析；在一套数仓服务和用户接口下，实现湖与仓的关联分析。

支持流式采集和近实时分析

支持流式数据实时写入并在数据仓库中开展分析；与云上主要流式服务深度集成，轻松接入各种来源流式数据；高性能秒级弹性并发查询，满足近实时分析场景需求。

提供持续的SaaS化云上数据保护

为云上企业提供从基础设施、数据中心、网络、供电到平台安全能力，再到用户权限管理、隐私保护等三级超20项安全功能，兼具开源大数据与托管数据库的安全能力。

MaxCompute – 核心能力 icon

MaxCompute – 高性能、低成本、高稳定性 icon

MaxCompute – 企业级安全 icon

多租户体系下企业级可信赖的数据管理平台-MaxCompute拥有全面的安全管理机制，提供业界领先的安全能力。

MaxCompute - 产品组合-实时离线一体化数仓解决方案 icon

目标客户适用于互联网、金融、政府、传统企业等大数据仓库，同时有海量ETL处理和实时洞察需求。

客户需求/痛点低成本（资源、运维），开发简单、服务间易于集成、开发效率高。

产品组合 MaxCompute + Hologres + DataWorks + DataHub

方案优势快速上手、服务稳定、安全可靠。数据集成和OSS等外表多种方式批量加载数据入MaxCompute。支持结构化数据及非结构化数据通过extractor加载入MaxCompute。DataWorks开发、调度、采集和数据治理一体化平台。Datahub流式数据直接投递MaxCompute，实时写入Hologres。Hologres提供高并发查询、亚秒级交互式分析能力，与MC通过外表等方式交互数据，实现联邦分析加速查询。

MaxCompute - 产品组合-湖仓一体解决方案 icon

目标客户

已有开源Hadoop平台，需要保留投资，需要从数仓统一纳管数据湖或多个数据源系统。通过湖仓一体联邦/抽取hadoop平台高价值数据，进行数据归集。

产品组合

MaxCompute + DataWorks + 开源Hadoop体系 / OSS数据湖 /OTS表格存储、Hbase 等联邦数据源

方案优势

支持MaxCompute和客户既有Hadoop生态大数据平台互通，不需要客户“二选一”。扩展支持阿里优秀自研及开源引擎接入湖仓一体，MaxCompute提供高效的数据访问通道。DataWorks支持湖仓一体，统一调度编排，统一数据地图数据血缘。

功能说明

Hadoop数据无须迁移，MC即可联邦计算。MC可以读写HDFS，提升数仓数据开放性。可进一步优化企业数据架构，湖和仓分层存储和管理，既保持湖的开放性又增强数仓的管控性。助力搬站场景，不用完全完成搬站即可使用，快速启动，降低成本，insidehadoop亦可用于抽取数据。Hadoop元数据一键镜像自动创建hive database逻辑映射，联邦计算，无缝融合Hadoop生态。DW将支持湖仓一体连接管理，调度湖中和仓中任务，统一数据血缘，降低两套平台的管理成本。

应用场景—智能物流

成本低，数据处理时间显著提升菜鸟智能物流分析引擎是基于搜索架构建设的物流查询平台，日均处理包裹事件几十亿，承载了菜鸟物流数据的大部分处理任务。

解决问题

更低成本的整体硬件资源

现有数据规模的处理需求，整体硬件资源成本下降60%+。

更快的全链路处理速度

全量数据处理时间极大被压缩，2亿的记录，端到端只需要3分钟。

更高效便捷的数据查询操作

一个系统满足多种场景查询，没有数据冗余，还有查询报错功能。

应用场景—云数据仓库 icon

在云计算、大数据时代，数据仓库的重要性毋庸置疑，其建设也在不断的进化中。某知名新零售客户在横向对比之后，毅然决定基于MaxCompute强大的计算能力进行数据仓库的建设。

解决问题

数据上云

第一阶段通过DataX和Tunnel向MaxCompute同步数据。

数据清洗

第二阶段通过内部产品打通在DataWorks进行同步和数据清洗。

数据展现

DataWorks进行ETL和OLAP的数据通过Quick BI产出报表。

应用场景—日志大数据分析 icon

某天气信息查询软件客户将日志分析业务从云下Hadoop集群迁移到阿里云MaxCompute后，开发效率提升超过5倍，存储和计算费用节省了70%，更高效的赋能其个性化运营策略。

解决问题

提高工作效率

日志数据全部通过SQL进行分析，工作效率提升了5倍以上。

提升存储利用率

整体存储和计算的费用比之前节省70%，性能和稳定性也有提升。

降低大数据使用门槛

MaxCompute提供多种开源软件的插件，轻松完成数据上云。

应用场景—搜索推荐

目前阿里巴巴淘系已能通过平台自助打标后，在报表中做自助即席多维分析，涵盖1000+自定义维度信息，无需开发同学额外支持，解放人力，减少沟通成本。

解决问题

更快速更精准地获取用户数据

无需更改blink作业，整体链路1小时内完成维表数据切换。

更快的查询响应

数据量大，资源有限，数据生产基本无延迟，且查询秒级内响应。

实现数据输出的交互式、个性化、高扩展性

几十亿商品的特征信息仅耗时5分钟完成数据切换。

应用场景—海量营销数据分析 icon

某知名聚合支付客户日交易笔数在百万级别，目前已经积累了海量交易数据。如何对海量数据进行分析与业务创新从而提高用户黏性，亟需搭建安全、可靠、稳定的大数据平台。

解决问题

数据创新

一站式大数据平台同时满足存储、计算、BI和机器学习等功能。

快速、高效、低成本

作为互联网创业公司，需尽可能以最低的成本去实现。

安全、稳定、可靠

需要严格的数据隐私保护机制，商户的数据只用于自身分析。

MaxCompute - 应用场景 icon

现代化的数据平台(Modern data platform) 要求企业能够对业务做更实时的响应、处理不断增加的不同类型数据、利用新技术挖掘数据更深入的价值。

MaxCompute 某保险集团基于MaxCompute大数据平台打造数据中台 ——交互式分析/实时离线一体化 icon

客户简介

国内领先的综合性保险集团，并是首家在上海、香港、伦敦三地上市的保险公司。为近1.6亿客户提供保险服务。连续11年入选《财富》世界500强，排名进至第158位。国内保险公司前三甲之一。

客户需求

数据湖建设项目：通过数据统一数据湖建设，将全集团各个子公司数据统一管理，为集团资源共享，挖掘数据价值打下坚实基础。集团数据统一入湖，开展全集团的数据资产做专项数据治理工作，容灾和数据安全体系。数据实时入仓，构建统一实时数据数据平台。

Why MaxCompute

完整的从hadoop体系sparkstreaming+hbase+hive迁移阿里体系至flink+Hologres+MaxCompute，承载了数据统一入数据湖/仓、数据治理、容灾等全部金融数据中台能力。最终使用的资源只有友商H大数据系统完成全部资源的1/2打通了实时入湖链路，包括dataworks实时数据集成数据入湖能力、datahub-flink-hologres的的实时链路，也包括T+1增量离线同步和与历史数据merge（update/delete/insert）任务。

MaxCompute 某知名互联网社媒公司通过湖仓一体实现大数据AI协同 ——湖仓一体联合并查询几乎任何数据 icon

客户简介

主要做社交媒体领域里的推荐 / 排序、文本 / 图像分类、反垃圾 / 反作弊等。在开源 Hadoop数据湖的基础上，借助阿里巴巴MaxCompute和PAI，解决了超大规模下的特征工程、模型训练等性能问题，形成了MaxCompute 和Hadoop数据湖共存的格局。

客户需求

数据同步安排专人专项负责，工作量巨大。训练数据体量大，导致耗时多，无法满足实时训练要求。新写 SQL 数据处理 query，无法复用 Hive SQL 原有 query。

Why MaxCompute

通过湖仓一体，无须进行数据搬迁和作业迁移，原有生产作业无缝灵活调度MaxCompute 集群和 EMR 集群中，且性能有提升。封装构建AI计算中台，极大提升该团队的业务支撑能力。

MaxCompute 某互联网金融客户基于MaxCompute实现用户画像、推荐、风控 ——机器学习与大数据的融合平台 icon

客户简介

某集团打造以大数据为驱动，模型为决策的智能风险管理体系，自主研发的大数据信用平分、坏账预测系统，为实际消费场景增加受众范围、降低入门门槛，承担起”护城河”的使命。

客户需求

Hadoop多集群版本不一致，集群管理复杂，导致稳定性不足、性能极差、经常被业务团队投诉。算法平台比较传统、实时性不足。

Why MaxCompute

集团数仓迁移到飞天大数据平台后，任务基线整体提前3小时，性能提升30%。采用MMA 实现Hadoop->MaxCompute迁移策略， 2周实现PB级数据上万张表的高效迁移，上千个核心任务只用了5天完成迁移改造。在离线计算和数仓基础上拓展了实时计算和金融AI领域的需求，MC数仓离线计算用户画像数据，增加实时计算Flink处理kafka数据对接Hologres实时数仓并归档MC，并使用MC+Hologres+Flink+PAI Alink打造推荐、风控等场景。