阿里云_企业应用消息队列MQ-云巴巴

企业应用消息队列MQ

消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。该产品最初由阿里巴巴自研并捐赠给 Apache 基金会，服务于阿里集团 13 年，覆盖全集团所有业务。

消息队列 RocketMQ 版

消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。该产品最初由阿里巴巴自研并捐赠给 Apache 基金会，服务于阿里集团 13 年，覆盖全集团所有业务。作为双十一交易核心链路的官方指定产品，支撑千万级并发、万亿级数据洪峰，历年刷新全球最大的交易消息流转记录。

产品优势

稳定性

阿里巴巴双十一官方指定消息产品，支撑阿里巴巴集团所有的消息服务，历经十余年高可用与高可靠的严苛考验，是阿里巴巴交易链路的核心产品；
服务可用性 99.95%，Region 化、多可用区、分布式集群化部署，确保服务高可用，即便整个机房不可用仍可正常提供消息服务；
数据可靠性 99.99999999%，同步双写、超三副本数据冗余与快速切换技术确保数据可靠；

高性能

丰富的消息类型

提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖普通消息、顺序消息（全局顺序 / 分区顺序）、分布式事务消息、定时消息/延时消息；

安全访问控制

以消息主题、订阅组的粒度，对每一条消息的收、发请求都进行严格的访问控制，确保消息的安全性；
全面支持阿里云 RAM 主子账号、黑白名单、STS 等功能，支持 TLS 传输加密协议、阿里云 VPC 访问等；

应用场景

异步解耦

场景描述

作为淘宝/天猫主站最核心的交易系统，每笔交易订单数据的产生会引起几百个下游业务系统的关注，包括物流、购物车、积分、阿里妈妈、流计算分析等等，整体业务系统庞大而且复杂，架构设计稍有不合理，将直接影响主站业务的连续性；

高可用松耦合架构设计

通过上、下游业务系统的松耦合设计，即便下游子系统（如物流、积分等）出现不可用甚至宕机，都不会影响到核心交易系统的正常运转；

灵活适应业务的快速增长

商场如战场，通过 MQ 的异步化设计，可以灵活高效的适应因业务快速发展而带来的变化，如新增业务系统；

削峰填谷

场景描述

诸如秒杀、抢红包、企业开门红等大型活动时皆会带来较高的流量脉冲，或因没做相应的保护而导致系统超负荷甚至崩溃，或因限制太过导致请求大量失败而影响用户体验，削峰填谷是解决该问题的最佳方式；

超高流量脉冲处理能力

MQ 超高性能的消息处理能力可以承接流量脉冲而不被击垮，在确保系统可用性同时，因快速有效的请求响应而提升用户的体验；

海量消息堆积能力

确保下游业务在安全水位内平滑稳定的运行，避免超高流量的冲击；

合理的成本控制

通过削弱填谷可控制下游业务系统的集群规模，从而降低投入成本；

顺序消息

场景描述

细数日常中需要保证顺序的应用场景非常多，比如证券交易过程时间优先原则，交易系统中的订单创建、支付、退款等流程，航班中的旅客登机消息处理等等。与FIFO原理类似，MQ提供的顺序消息即保证消息的先进先出；

严格保序

与部分开源产品不同，无论是服务上下线、扩缩容，网络不稳定等情况下，MQ 始终保证消息的有序；

高性能&可扩展

支持全局顺序与分区顺序，分别满足不同的业务需求，如证券交易系统中相同股别采用全局顺序，交易系统的不同订单之间采用分区顺序；分区顺序在严格保序的同时，通过分区动态扩展能力提高整体的并发与扩展能力；

分布式事务消息

场景描述

阿里巴巴的交易系统、支付红包等场景需要确保数据的最终一致性，大量引入 MQ 的分布式事务，既可以实现系统之间的解耦，又可以保证最终的数据一致性。

传统事务

多个系统或者应用组件之间的业务处理会耦合到一个大事务中，响应时间长，业务链路长从而影响系统的整体性能和可用性，甚至引起系统崩溃；

分布式事务

将核心链路业务与可异步化处理的分支链路进行拆分，将大事务拆分成小事务，减少系统间的交互，既高效又可靠；MQ 的可靠传输与多副本技术在确保消息不丢，At-Least-Once 特性确保数据的最终一致性；

大数据分析

场景描述

数据在"流动"中产生价值，传统数据分析大多是基于批量计算模型，而无法做到实时的数据分析，利用阿里云消息队列（MQ）与流式计算引擎相结合，可以很方便的实现将业务数据进行实时分析。

应用与分析解耦

构建应用系统和分析系统的桥梁，并将它们之间的关联解耦，同时由于数据产生非常快且数据量大，需要非常高的可扩展性；

大数据分析

可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统；

分布式模缓存同步

场景描述

天猫双11大促，各个分会场琳琅满目的商品需要实时感知价格变化，大量并发访问数据库导致会场页面响应时间长，集中式缓存因为带宽瓶颈限制商品变更的访问流量，通过 MQ 构建分布式缓存，实时通知商品数据的变化；

实时数据更新

通过消息实时推送的方式，让数据实时得以更新；

降低页面响应时间

大量并发访问商品数据库，减少页面响应时间

满足大规模访问需求

大促众多分会场，多缓存的架构设计，满足对商品变更的大量访问需求；

产品功能

主题模型（Topic）

发布/订阅（Pub/Sub）

一对多消费模式，发布者可以将消息发送到主题，

被一个或多个消费者同时消费，

灵活，可扩展性强

集群消费

消息在集群内负载，确保每条消息只需要被集群

内的任意一个订阅者处理

即可（默认模式）

广播消费

消息在集群内广播，确保每条消息推送给集群内所

有订阅者，确保消息被集群内的

每个订阅者消费

消息路由

通过动态路由规则配置，解决消息的跨地域、远距离、毫秒级实时同步难题，确保地域之间的数据一致性与完整性

性能高，实时性强

高速通道百万级 TPS 传输能力，多维度消息路由

规则，毫秒级实时同步

安全可靠

支持断点续传，任意节点故障，同步链路仍

可秒级恢复

定时消息/延时消息

消息可在指定的时间点(如2019/01/01 15:00:00)或

延迟时间(如30分钟后)进行投递

消息类型丰富

丰富的消息类型，满足各种严苛场景下的高级特性需求，解决异步通知、系统(微服务)间解耦，削峰填谷，缓存同步，实时计算等

顺序消息

按照消息的发布顺序进行顺序消费（FIFO），支持

全局顺序与分区顺序

分布式事务消息

类似 X/Open XA 的分布事务功能，既可

做到系统间的解耦，又能保证数据的最终一致性

定时消息/延时消息

消息可在指定的时间点(如2019/01/01 15:00:00)

或延迟时间(如30分钟后)进行投递

完善的运维配套

MQ 提供一整套完整的、金融级的产品运维工具，帮助用户快速发现、处理系统问题。

消息查询

支持 Topic、Message ID、Message Key 多维度

方式查询消息详细信息

全链路消息轨迹

全程追踪消息在生产者、消息服务器、消费者

之间的流动轨迹，并将数据进行汇聚分析后

可视化输出

消息回溯消息回溯

支持对已消费过的消息进行重新回放

或清除堆积的消息，是帮助用户故障恢复的

最佳利器

监控告警

实时统计消息的生产与消费，并可对消费

延时、消息堆积等进行监控告警，帮助用户

及时发现问题

Open API（RESTful）

完善的管控类 Open API 帮助用户实现自助资源管理

和运维，采用 RESTful 标准，

灵活便捷

消息队列 Kafka 版

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

产品优势

开箱即用

100% 兼容开源社区 Kafka（0.10.0.0 及以上版本），业务代码无需任何改造，快速上云

高可用性

专业团队保障更高可用性，优化开源 Kafka 长期以来的痛点，消息堆积能力强，支持数万级 Topic

全托管服务

提供全托管服务，用户只需专注于业务开发，无需部署运维，更专业、更弹性、更可靠

数据安全

支持 SASL 用户身份认证与 SSL 通道加密传输机制，确保数据不被窃取或篡改，保证用户数据的安全

产品功能

开箱即用

开箱即用，无缝迁移，帮助您的业务快速上云

开箱即用

100% 兼容开源社区 Kafka（0.10.0.0 及以上版本），

全面兼容 Kafka 开源客户端

无缝迁移

基于现有的开源 Apache Kafka 生态的代码，

无需任何改造，即可无缝迁移上云

生态丰富

开源与云服务相结合，全面融合 Kafka 开源社区生态，

以及阿里云平台大数据产品生态

高可用性

阿里巴巴消息产品研发与性能优化团队，进一步优化开源产品长期以来的痛点，提供更优质的服务

高可靠/高可用

跨可用区、多副本数据冗余，

数据可靠性 99.999999%，

服务可用性 99.9%

海量消息堆积

在海量消息堆积的情况下，始终保持 Kafka 集群的

消息收、发的高吞吐能力

弹性伸缩

可根据业务规模按需扩容，Broker、Topic、分区

横向伸缩，上层业务无感知

全托管服务

专业的且经验丰富的运维团队，提供体系化的产品运维

HouseKeeping（健康巡检组件）

Kafka 核心链路运行时巡检，每分钟会对

集群做一次全面扫描诊断并健康预警

业务监控与告警

实例、消息堆积、TPS 等多维度监控与告警设置，

帮助用户及时发现问题

Open API

完善的管控类 Open API，

用于实现一系列资源管理和运维功能

数据安全

提供鉴权与授权机制、主子账号等功能，提供企业级的安全防护

访问控制

VPC 网络隔离，对每次消息收、发请求

进行安全访问控制，确保消息的安全性

主子账号

全面支持 RAM 主子账号、黑白名单、

STS 等功能，提供授权能力

数据安全

SASL 用户身份认证与 SSL 加密传输，

确保数据传输过程中不被窃取或篡改，保证客户数据的安全

经典应用场景

构建日志分析平台

日志聚合

淘宝、天猫平台等公司每天都会产生大量的日志。Kafka 性能高效，同时 Kafka 的特性决定它非常适合作为"日志收集中心"： 1. 采集日志时业务无感知；2. Hadoop/ODPS 等离线仓库存储和 Storm/Spark 等实时在线分析对接

能够解决

应用与分析解耦

构建应用系统和分析系统的桥梁，并将它们之间的关联解耦

在线/离线分析系统

支持实时在线分析系统和类似于Hadoop之类的离线分析系统

网站活动跟踪

高吞吐，大数据集成

通过消息队列 Kafka 可以实时收集网站活动数据（包括用户浏览页面、搜索及其他行为等）。发布-订阅的模式可以根据不同的业务数据类型，将消息发布到不同的 Topic；还可通过订阅消息的实时投递，将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理；

能够解决

高吞吐

网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持；

大数据分析

可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等

流计算处理

股市走向分析、气象数据测控、网站用户行为分析等领域，由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。

能够解决

高可扩展性

由于数据产生非常快且数据量大，需要非常高的可扩展性；

流计算引擎

可对接开源 Storm/Samza/Spark 以及 EMR、Blink、StreamComp

数据中转枢纽

多路转发

近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等等专用系统应运而生，产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中。

能够解决

一对多消费模型

发布/订阅模型，支持同份数据集能同时被消费多次；

同时支持实时和批处理

本地数据持久以及PageCache，在无性能损耗的情况下能同时传

消息队列 AMQP 版

消息队列 AMQP 版由阿里云基于 AMQP 标准协议自研，完全兼容 RabbitMQ 开源生态以及多语言客户端，打造分布式、高吞吐、低延迟、高可扩展的云消息服务。开箱即用，用户无需部署免运维，轻松实现快速上云，阿里云提供全托管服务，更专业、更可靠、更安全。

产品优势

功能增强

定时消息：简单的参数设置实现精准定时消息，无先入先出限制；

死信队列：新增消息消费超过最大重试次数后，自动进入死信队列的功能；

消息重试：灵活的消息重试机制，简单、灵活、确保消息不丢；

极简易用

无缝迁移：完全兼容 AMQP 标准协议和 RabbitMQ 开源生态；

全托管：专业托管、免运维，核心链路秒级健康巡检，不健康的状态快速恢复并及时告警，确保服务可用性；

超强性能

性能上限：支持百万级队列，单队列横向扩展，无并发限制；

弹性伸缩：可扩展能力强、性能线性增强，可根据业务需求弹性伸缩，对用户透明；

海量堆积：在海量消息堆积的情况下，始终保持高性能，不影响集群的正常服务；

安全可靠

Vhost & Queue & Exchange 细粒度权限控制，每次消息请求进行安全访问控制；

全面对接阿里云 RAM 主子账号，支持黑白名单控制、TLS 传输加密等；

微消息队列 MQTT 版

微消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖互动直播、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端和云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发，真正做到万物互联。

产品优势