流计算 Oceanus 是基于 Apache Flink 构建的云端全托管流式数据汇聚和计算服务,云原生容器化部署,提供一站式SQL及JAR作业开发与运维平台,可以便捷对接丰富的云上数据源,以低门槛、低成本、高可用、灵活伸缩、生态友好的产品形态,帮助企业轻松应对海量数据实时处理和分析决策的挑战。
支持构建各行业实时数据分析场景,为企业的数字应用创新、业务转型助力。
在急速变化的市场中,由实时计算驱动的分析和决策对企业来说日益重要。
实时数据集成能力作为连接各种异构数据的纽带,需要连接各种各样的存储系统,Oceanus 打通了云上各类常见的上下游存储服务,通过简单的SQL配置,可以快速满足业务多源数据实时同步的需求。
在大数据实时数仓建设、实时商业分析等场景下,可通过Oceanus持续汇聚多方数据源,并进行过滤转换、多流 Join、流维表Join、窗口计算等操作,将处理后的数据落地至ClickHouse、Hive、Kudu、Doris等组件中构建实时数仓,实现实时商业分析与决策。
在系统运维管理、实时监控、实时告警等场景下,通过消息队列将采集到的APM性能数据与关键系统日志等多方数据源传输至腾讯云Oceanus,并实时同步告警规则库,进行监控指标计算、告警规则匹配,再将指标计算结果保存到云数据库,同时将符合告警规则的告警实时触发并传输至下游,提高故障检测的实效性与全面性。
在实时欺诈检测、异常检测等风控场景下,通过消息队列将用户行为数据、业务数据、设备数据等多方数据源传输至腾讯云Oceanus,使用Flink CEP复杂事件处理的能力进行规则匹配,实现实时消息预警,同时可以进行聚合计算,聚合的指标保存到云数据库,供下游系统进行查询与分析。
在用户画像实时更新、广告/游戏实时推荐的场景下, 通过消息队列将用户行为数据、用户数据、内容数据等多方数据源传输至腾讯云Oceanus , 也可以通过Oceanus CDC将数据库实时增量同步到Oceanus,进行日志处理、数据统计,将计算结果保存到云数据库,实时更新用户特征数据,实现更精准的实时个性化推荐。
Flink内核:基于腾讯内部业务多样化场景的大量实践积累,深度参与社区内核贡献。Flink Committer 多位,活跃Contributor 多位。贡献Commits 300+,贡献代码 10万行+。
腾讯云流计算Oceanus将有效提升企业对实时数据的监控、处理、多维度应用和分析能力。
分钟级自动化构建上百CU集群,集群与内核运维完全托管,独享租户间完全隔离,日志、快照与监控指标自动采集。
提供线上SQL开发、语法检查、调试和发布环境,大幅降低开发门槛。提供线上运维管理、作业版本管理、作业并行度设置、日志查询、监控指标查看、自动扩缩容和Flink原生监控能力。日志:快捷关键词搜索,监控:JM/TM/Task级别指标,自动扩缩容:根据TM的CPU使用,率和Kafka上游数据延迟等策略。
Flink SQL 和 DataStream100% 与开源兼容,当前支持v1.11版本,可无障碍迁移。支持运行JAR作业,SQL和JAR作业均支持引用自定义函数和自定义Connector。
提供常用内置 Connector:Kafka、 JDBC 、 MySQL CDC 、ES6/7、HBase、ClickHouse、COS、HDFS等。可通过自定义 Connector 支持更多上下游。
Flink作业实例:1-2分钟CU级横向扩展(通过手动修改作业并行度,或启用自动扩缩容策略)。Oceanus集群(计算资源池):通过集群扩容操作可实现5-10分钟节点级横向扩展。自研内核优化带来性能提升,资源利用更高效,间接降低成本。
集群高可用 SLA达99.9%
bilibili游戏是二次元游戏的权威发行平台,游戏业务占B站收入的48%,B站游戏独家代理了《FGO》、《公主连结》等多款成功游戏。业务价值:借助Oceanus实时计算平台和实时数据仓库ClickHouse,实现数据秒级入库,亚秒级查询,助力企业实现高效的游戏运营和决策。
畅游公司是中国领先的互联网游戏开发和运营商,公司致力于多元化的网络游戏开发、运营和授权代理。代表作有:《天龙八部》端游和手游、 《空之轨迹》、 《刀剑英雄》等。业务价值:通过Oceanus以及内置的CDC工具,便捷高效地实现多数据源的数据同步和ETL,以及实时增量数据的同步。
用户群体:用于腾讯内部主流产品,以及腾讯云上所有接入云监控客户功能定位:云产品实时健康状况监控及告警。解决方案:对上报的各种日志指标(如CPU、内存、磁盘、流量等)进行高效的实时ETL和预聚合,将处理后的数据输出到前端来支持可视化展示和监控告警。
数说雷达:基于大数据,为企业提供产品创新、品牌营销解决方案。打造业务全流程闭环,实现品牌增长最大化,一站式、端到端、智能化、可扩展的数据产品。
提供产品创新
业务全流程闭环
端到端、智能化
可扩展的数据产品
能自动识别视频,从OCR 文本、图片、音频三种维度,识别视频中的涉黄、敏感等违规内容,支持自定义配置黑白词库、图片,识别自定义违规内容。
能自动识别视频,从OCR 文本、图片、音频三种维度
识别视频中的涉黄、敏感等违规内容
支持自定义配置黑白词库、图片,识别自定义违规内容