立即咨询

电话咨询

微信咨询

立即试用
商务合作

火山引擎云原生开源大数据平台 E-MapReduce

E-MapReduce 提供企业级的 Hadoop、Spark、Flink、Hive、Presto、Kafka、Doris、StarRocks、ClickHouse、Hudi、lceberg等大数据生态组件,100%开源兼容,支持构建实时数据湖、数据仓库、湖仓一体等数据平台架构,帮助用户轻松完成企业大数据平台的建设,降低运维门槛快速形成大数据分析能力。
立即咨询
icon多种端侧安全响应能力,用户可灵活选择icon

兼容开源而优于开源:100% 兼容完整的大数据开源生态,深度云原生优化和性能增强。

01 存算分离:透明加速
透明加速技术,性能追平存算一体,成本降低20%。
02 冷热分层:成本再优化
冷数据转存,降低存储成本;自动冷热诊断,提供优化建议。
03 弹性伸缩:按需使用
业内领先的弹性性能,2分钟可稳定弹出过百节点;支持按时间、负载、混合策略。
04 全托管的元数据服务
免费的全托管HMS服务,完全开源兼容,多集群多组件统一元数据中心。
05 全托管的History服务
免费全托管,无需绑定公网 IP,Stateless化,集群释放后仍然可以访问。
06 持久化的配置中心
持久化集群配置、服务参数等,Stateless化,集群释放后可原样恢复。

 

iconEMR Stateless:重新定义云原生开源大数据平台icon

何为EMR Stateless?

外置EMR集群的状态元素,如用户数据、元数据、用户/权限/审计数据、服务/任务日志、集群模版、弹性规则、监控指标数据、状态Server等,让长运行集群变成轻量级瞬态集群,从创建集群等待任务运行,到任务的开始和结束触发集群的创建和释放,从而获得更好的弹性、扩展性、安全性,让数据平台架构有更好的演进成长能力和最佳的成本优化。

 

 

iconEMR Stateless 核心价值:成本最优,更专注数据业务icon

 

 

icon业内先进的弹性伸缩性能,支持时间、负载、混合等丰富的弹性策略icon

EMR集群支持按时间规则与集群负载弹Task节点,两种策略可搭配使用;存算分离模式下,EMR集群可以作为无状态服务,弹Core+Task节点,甚至整个集群为弹性粒度进行数据分析工作,成本更优。

Time-Based:基于时间规则
指定时间段进行弹性扩缩容,支持执行一次或重复执行,提供扩缩容重试和冷却机制。基于时间规则是简单实用的弹性策略。
Load-Based:基于集群负载
按集群负载情况进行弹性扩缩容,如当YARN的运行指标大于设定的某个值时,触发弹性扩容。基于集群负载弹性可最大程度提升资源利用。

 

 

icon先进存算分离架构,配合数据湖加速引警,冷热数据自动诊断,分层存储icon
EMR状态服务与数据外置
· 日志存储TOS:服务组件的运行日志和计算任务运行日志支持存储至TOS。
· Hlstory Server:通过EMR公共的HistoryServer回放组件的任务运行过程。
· 对接云监控:集群服务组件的指标接入云监控,集群释放后指标不丢失。
· 集群创建模板:保存模版至配置中心,可使用模板一键创建集群。
· 元数据外査存储:集群权用户及限元数据,Hive元数据可存储之外置RDS;支持DLF。
大数据文件系统CloudFS
· 兼容HDFS接口:支持Rename、Move语义,无缝对接EMR计算组件。
· 元数据缓存加速:提供高性能的元数据缓存与操作层次化的目录树。
· 高效数据加速:高速云盘缓存热数据,根据数据访问热度实现多级缓存流动。

 

 

icon一站式云托管,精细化的集群运维与监控告警能力,支持丰富的组件操作icon

一站式云托管,帮助用户轻松构建云上企业级大数据平台,降低运维门槛,助力企业快速形成大数据分析能力。

集群管理
快速创建集群,分钟级发放;
支持按量付费与包年包月。
服务管理
服务组件各项指标呈现;
支持多种服务个性化操作。
节点管理
节点组扩缩容,磁盘扩容、支持节点组弹性伸缩。
引导操作
按需执行自定义操作;
按需安装第三方软件包。
日志中心
服务组件日志的针对性展现与搜索,操作日志管理。
配置中心
保存集群创建模版与数据库连接信息,快速创建集群。
用户权限
统一 IAM与LDAP用户管理增强集群RBAC权限模型。
弹性伸缩
按时间规则弹性按集群负载弹性。

 

 

icon企业级安全管理,火山引擎IAM+Kerberos认证,Ranger权限管理icon

进不来 → 逃不掉 → 拿不走 →  看不懂。

· 支持导入IAM用户,各组件统一认证,避免外部用户登录集群。
· 安全管控服务支持高可用,避免单点故障,确保权限控制永远在线。
· 增强RBAC模型授权,提供可视化管理界面,数据安全管控简单、高效。
· 协同火山引擎安全体系,VPC强隔离、授权运维、集群状态数据合规获取。
· 支持Kerberos强认证模式,满足高安全要求的业务场景。
· 审计日志与访问审计,确保每一次请求的可追溯,保障隐私数据访问安全。

 

icon火山EMR与自建集群对比优势icon

 

 

iconEMIR 产品优势与面向场景icon

产品优势:云原生存算分离架构,冷热分层,按需弹性,大幅降低成本,完整开源生态;

服务优势:大数据搬迁原厂技术专家支持,提供业界领先的数据BP团队咨询服务。

IDC上云与他云搬站
使用EMR产品,延续开源架构技术栈,并协同开源大数据生态与火山生态
我们提供
· 成熟稳定的社区版本:加持了内部实践优化,搬迁IDCCDH/HDP及他云类EMR产品
· 火山生态集成:EMR +DataLeap + DataSail
· 迁移工具与最佳实践方案。
云原生数据湖
基于EMR云原生存算分离架构解决计算和存储耦合导致的资源闲置与成本问题
我们提供
· 存算分离:先进的存算分离架构,自研透明加速层;
· 冷热分层:冷热温分层存储,节约存储成本;
· 统一元数据:全托管的HMS服务,构建数据湖多引擎集中化的元数据层。
实时数仓/湖仓一体
基于EMR StarRocks 或Doris提供十万级QPS的查询分析和Serving能力
我们提供
· 开源优化:内部大规模实践,开源内核深度优化;
· 数据湖仓:支持对Hudi、Iceberg、Hive查询分析;
· 异构迁移:提供ADB、Holo、Impala、Kylin等迁移工具与最佳实践。
开源切换与技术共建
解决被私有架构或开源魔改产品Lockin、无法二次技术创新的难题 (如迁移MC)
我们提供
· 100%开源兼容:所有优化都以不改变开源兼容度为前提,确保业务可迁出
· 开放环境:通过引导操作或登陆ECS安装第三方包;
· 技术共建:基于开源社区,根据业务需求共建共赢。

 

 

产品推荐

Autodesk Maya 三维建模软件
Autodesk Maya可以大大提高电影、电视、游戏等领域开发、设计、创作的工作流效率,同时改善了多边形建模,通过新的运算法则提高了性能,多线程支持可以充分利用多核心处理器的优势,新的HLSL着色工具和硬件着色API则可以大大增强新一代主机游戏的外观,另外在角色建立和动画方面也更具弹性。
免费试用
查看详情
CRMEB Pro版
CRMEB Pro版,完善的商品功能,多种商品样式切换,满足从视觉到功能的高端享受。多样的售后方式,支持退款与退货退款,避免售后纠纷。一体化的经营工具,帮助中小商家实现线上线下双增长。签到得积分,连续签到积分翻倍。多种玩法,增加用户粘性,提高用户活跃度。
免费试用
查看详情
腾讯电子签防疫数字化解决方案
防疫专项解决方案作为“组织”与“个人”的连接器,实现数字化、定制化、可量化的防疫项目诉求。腾讯防疫专项解决方案,可以实现高效机构与个人链接的能力,且可以根据机构需求提供精细化的效果回收方案,同时为个人提供低门槛、超便捷的体验方案。
免费试用
查看详情
CRMEB多店版
CRMEB多店版,流畅的下单流程,一体化的经营工具,帮助中小商家实现线上线下双增长。短视频包含视频点赞、收藏、评论,以及视频关联商品、购物车入口等功能。多种玩法,增加用户粘性,提高用户活跃度。多种商品样式切换,满足从视觉到功能的高端享受。
免费试用
查看详情