① 场景 & 挑战
场景: 线上活动数据的监控服务。
挑战:
高吞吐量:数据实时写入要求落盘延时低对于系统处理数据的性能有很高的要求。
数据不丢失:如何保证在数据传输落盘不丢失且不会重复
稳定性:如何保障稳定运行,实时的写入的同时支持高并发的读取。
① 场景 & 挑战
场景: 基于产品使用行为的多维度分析平台,提供事件分析、留存分析、转化分析、用户分群、用户留存等多种分析方式和场景。
挑战:
· 数据量大,且不断增长中,每天新增 100T;
· 查询需求多样,要同时支持明细和聚合查询;
· 查询灵活,需要支持交互式分析,秒级响应;
· 成本可控,如何在数据量不断增加的情况下控制机器资源投入。
① 场景 & 挑战
场景:
根据O-5A-Grow的用户增长模型,分析每个阶段的用户转化/流失情况,通过一定筛选条件下用户数量的对比,来及时调整营销策略做到精准营销,达成用户增长。
挑战:
· 开发侧:Spark/Hive在海量数据规模下(TB级)查询慢,需要复杂ETL任务做预聚合,开发和运维代价高
· 业务侧:前端分析响应时间慢,多维行为分析场景无法实现实时聚合出结果,制约业务分析。