icon海量数据实时搜索与分析的痛点icon
全文搜索
网站搜索、移动应用搜索、企业搜索、内容推荐搜索。
日志检索与分析
应用程序服务日志查询,分析,异常监控,及时诊断和解决问题。
业务稳定运行的保障,企业的生命线。
商业智能BI分析
电子商务、移动应用、广告媒体等业务,海量数据实时效果分析,发现商业机会、辅助商业决策。
icon企业自建Elasticsearch服务面临的挑战icon

需要长期的时间投入与资源投入,成本很高,影响业务的发展时机

安装部署复杂
软硬件环境适配、选型、安装部署、调试、调优,需要较长构建周期和经验积累
建设成本高
配置修改、运维监控、异常告警触达等运维基础设施,需企业投入额外资源自行建设
运维挑战大
在线业务对安全访问、权限控制、稳定性、备份、容灾等要求较高,需要极高的专业度和能力支持
业务拓展繁琐
业务的成长发展,需要灵活的弹性和高效稳定的系统运行保障,传统手工操作繁琐且不可靠
技术迭代慢
企业有限的IT资源难以跟踪开源技术的高速发展,复杂升级门槛限制新技术使用,影响竞争优势
缺乏专业支持
关键技术瓶颈、突发业务故障的高效解决,对企业技术储备要求极高,极大影响业务口碑
iconElasticsearch对海量数据处理的解决方案icon

Elasticsearch:分布式、全文检索和数据分析引擎,可以对海量数据进行准实时地存储、搜索和统计分析。

搜索能力优秀
支持全文检索、关键字高亮、搜索排序、搜索过滤、类SQL查询、各种类型数据,结构化、非结构化等。
执行效率高
准实时,从数据写入到搜索,秒级可见。
灵活弹性
分布式架构,灵活、可扩展,应对海量数据的挑战。
开发友好
丰富的组件,采集、存储、可视化,REST API 、各种开发语言的SDK。
icon腾讯云ES:开箱即用的云端Elasticsearch服务icon

腾讯云Elasticsearch Servie(ES)是基于开源引擎打造的云端全托管 ELKB服务,独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,助力企业高效构建海量数据搜索和分析场景。使用腾讯云 ES,您可以快速部署、轻松管理、按需扩展您的集群,简化复杂运维操作,快速构建日志分析、异常监控、网站搜索、企业搜索、BI 分析等各类业务。

icon腾讯云ES:产品技术架构icon
icon腾讯云ES:产品功能矩阵icon
集群托管
ES、Logstash、Beats、Kibana
集群:创建、伸缩、变配、销毁
升级:滚动升级,蓝绿升级
重启:集群重启,节点重启
自研内核
规模:支持千级节点,百万分片
内存: FST Off-Heap ,单节点50T
成本:压缩算法优化,成本降低40%
稳定:熔断限流,数据均衡
性能:查询减支合并,写入锁优化
插件:cos备份、QQ分词、自定义
云原生
设备:星星海,本地盘,多块云盘
弹性:扩缩容, 冷热分层
成本:可搜索快照,成本降低50%
产品联动:CVM、TKE、Oceanus
易用性
节点迁移:跨可用区一键迁移
配置预估:集群规模及配置预估
配置调优:场景化模板,自定义
可视化:Kibana,Cerebo
安全
网络隔离:VPC隔离
访问控制:CAM、集群鉴权、白名单
权限管理:X-pack 索引文档字段权限
传输加密:Https协议支持
高可用
容灾备份:多可用区热备,cos冷备
日志记录:运行日志、变更历史
监控报警:集群节点监控,电话报警
智能巡检:自动巡检风险点一键优化
icon腾讯云ES:内核优化icon
icon腾讯云ES:综合成本优化icon
icon腾讯云 ES :六大产品优势打造云端实时搜索与分析平台icon
易于部署和管理
一键创建,丰富可选的软硬件配置;轻松管理,完善的自助运维管理工具。
弹性扩缩容
资源弹性按需购买,快速应对业务发展;分钟级数百节点扩缩容,不停服。
高级特性
全面集成Elasticsearch高级商业特性:安全、告警、SQL机器学习等。
高可用
服务高可用:多可用区部署、分布式架构;数据高可用:COS备份、云盘多副本。
安全加固
数据安全权限管理
云上网络隔离
CAM权限控制
安全组内网访问控制
开放与服务集成
容开源标准API、生态组件,多种云产品集成联通,控制台、API、SDK等丰富的接入方式。
icon产品优势-易于部署和管理,提升集群运维效率icon

分钟级构建数百节点规模集群,免去软硬件部署的繁琐调试流程。便捷的运维管理工具、Kibana可视化展现、监控告警、智能巡检,提高管理效率。高效易用的数据处理管道(Logstash),轻松实现数据的抽取、加载、转换。云端托管的Beats数据采集器平台,自动化采集器配置下发,轻松解决数据采集问题。

icon产品优势-资源弹性,快速应对业务发展icon

资源弹性按需购买,多达百节点、PB级数据灵活弹性扩缩容。平滑过渡,集群扩缩容不停服,轻松应对业务发展需求。

icon产品优势-集成Elasticsearch高级特性(X-pack)icon

集成Elasticsearch高级特性插件X-Pack,原厂战略合作,全球授权,提供丰富的运维管理支持、数据深度探索等能力。

icon产品优势-高可用能力建设,提高容灾能力和稳定性icon

同城多活:多可用区分布式架构,提高集群容灾能力。异地灾备:CCR跨集群复制,COS备份:保障数据可靠,内核优化:保障集群稳定。

容灾能力
1. 同城多活:多可用区部署
跨机房部署,数据节点自动区域感知。统一的 VIP,数据节点负载均衡。故障节点自动检测,服务无感知切换。
2. 异地灾备:CCR跨集群复制
数据从生产数据中心复制到灾难恢复数据中心
3. COS 快照备份
系统稳定性
1. 内核优化:熔断限流机制,保障集群稳定
2. 内核优化:新加节点时数据均衡策略
3. 内核优化:Segments 合并策略
icon产品优势-全方位安全加固,为业务保障护航icon

私有网络VPC部署隔离,安全组内网访问控制。X-Pack提供登录认证和字段级别权限控制,基于CAM提供统一的账号安全权限管理。

icon产品优势-云产品集成,助力业务快速落地icon

兼容标准的开源RESTFulAPI与生态组件,无缝接入降低迁移成本。多种云产品联动打通,云开发支持API、SDK。

icon应用场景-信息搜索icon

ES非常适合应用于网站搜索、移动应用搜索等场景,特别是针对大数据量、高并发以及对搜索灵活性和相关度要求比较高的时候,通过灵活的关键字、查询条件、模糊匹配等方式,可以从PB级的结构化和非结构化数据中毫秒级返回搜索结果。搜索内容全覆盖:商品,订单、库存,客户,保单,活动、博客,资讯,代码等。

icon应用场景-日志检索与分析icon

业务系统运行过程中,服务器、数据库和容器等会产生大量日志和监控数据,而且存储分散、种类繁多、规模庞大,很难进行检索和分析。ES 通过丰富的数据采集工具和分布式存储,方便日志统一管理和指标实时监控,通过一站式全观测优势,帮助用户快速定位问题,提升运维效率。分析场景全覆盖:Web日志、APP日志、数据库日志、服务器指标、网络指标、存储指标等。

icon应用场景-商业智能构建icon

ES提供了开箱即用的可视化分析工具及强大的聚合分析能力,可以便捷高效地对海量业务数据进行实时分析和结果呈现,用统一技术栈和轻量级投入辅助企业经营决策,帮助构建商业智能。

icon成功案例-微盟智慧商业产品和日志分析平台icon

中国领军的企业云端商业及营销解决方案提供商,注册商户超300万家。应用场景:APP/网站搜索、潜在客户查找、日志分析、调用链追踪。

解决方案
采用ES作为智慧商业产品的底层引擎,提供商品搜索、订单搜索、活动搜索等功能;多维度精确查找潜在客户;根据地址范围搜索附近的潜在客户。搭建ELK日志分析平台,提供日志搜索、调用链追踪等功能。
业务价值
保障产品和服务的连续性,提高产品销售业绩,提升客户满意度。ES集群交付速度提升10倍+。冷热分离部署,降低存储成本。基于X-Pack的安全管控,消除产品安全隐患。采用星星海机型,降低计算成本。
icon成功案例-B站大规模业务日志分析icon

国内知名的视频弹幕网站,月均活跃用户达1.72亿,移动端月活用户达1.53亿。查看游戏玩家在过去几天(频次高)或者过去几个月(频次低)装备、金币、用户等级提升、任务完成情况、副本通关情况、新手引导转化等行为,查询时间要求秒级返回。

核心挑战
PB的日志存储,10TB级日写入
单集群超过百节点
对成本的极致要求
易用性强,免运维
方案优势
冷热架构:搭配索引生命周期管理
硬件配置:采用本地盘机型搭配冷热架构、COS备份
技术优化:弹性伸缩、堆内存优化
专家支持:对ES大规模实践的全方位技术支持
icon成功案例-蘑菇街搜索推荐和日志分析实践icon

专注于时尚女性的电商网站,GMV200亿。

icon成功案例-腾讯健康码搜索支撑实践icon

应用场景:覆盖社区、办公大楼、交通卡口、机场、火车站等不同场景,与政务平台联动。覆盖人群:在近20个省级行政区上线落地,覆盖300多个市县,累计亮码10亿人次。记录人员/车辆流动,防疫部门数据采集/管理,社区及路网卡口通行监管。

核心挑战:
海量数据存储 万亿级数据访问
研发时间紧张,对系统灵活调整要求高
技术选型的关键优势:
搜索能力:丰富的数据类型,结构化查询、关键字搜索、聚合分析、LBS区域计算
开发效能:简单易用的开发接口,丰富的生态组件
可扩展性:分布式架构,分钟级扩缩容
高可用性:多可用区容灾,熔断限流机制、COS备份
数据安全:集群用户鉴权、内外网访问黑白名单、VPC隔离
icon成功案例-腾讯会议高效稳定的会议服务实践icon

应用场景:广泛应用于疫情防控会议、远程办公、师生远程授课等场景,是复工复产的重要工具。覆盖人群:用户数1亿,最高支持2000人同时参会。

核心挑战
业务极速增长
自研引擎在高压力、高吞吐写入性能和和扩容能力
技术选型的关键优势
高性能:支撑千万/秒的写入(内核优化)
扩容能力:单个集群支持扩容至百节点。新扩节点的均衡策略(内核优化)
稳定性:基于内存资源的熔断限流策略(内核优化)
易用性:尽量保留原有架构基础设置,做尽量少的代码改动。
icon成功案例-富途证券全局搜索和查询加速分析icon

新一代互联网券商,用户量超过500万,托管资产超过1000亿港元。

解决方案
基于ES的全局搜索方案,为APP提供统一的检索能力,建立了包括人、群、资讯等全面链接。基于ES的轻量化查询加速分析方案。
业务价值
保障产品和服务的连续性,提高产品销售业绩,提升客户满意度。ES提供的数据库加速查询分析方案,让我们在不需要构建复杂大数据集群情况下,轻松应对包括OLAP分析等多种分析场景,挖掘更多有价值数据及信息。将我们从繁琐的运维工作中解放出来,可以更专注地去支持业务方的关键需求,为公司创造更多的价值。
icon访问集群-集群访问与控制icon

可直接从集群列表点击进入Kibana,可在访问控制查看集群内网与外网访问,可通过设置公网访问策略配置IP白名单/黑名单,同时支持Kibana与Cerebro的访问控制。

icon运维管理-监控与告警icon

集群监控支持查看集群总体状态、集群性能指标、服务器性能指标,可通过数据对比功能对指标进行对比分析。节点监控支持查看节点性能指标以及服务器性能指标,可通过数据对比功能对指标进行对比分析。告警支持配置告警规则以及告警通知。

icon运维管理-日志查看icon

当前支持查看主日志、搜索慢日志、索引慢日志以及GC日志。

icon运维管理-智能巡检icon

巡检概览统计并展示了集群的巡检结果及其趋势变化,方便用户查看集群近期的健康状况。支持自动巡检与手动巡检,可选择需要巡检的索引和巡检项。巡检报告包含巡检项说明、巡检结果、巡检建议以及建议。

icon配置管理-高级配置icon

支持通过上传同义词文件以及直接引用同义词进行同义词配置。支持将快照备份到自己的COS,方便自行管理或跨集群恢复。支持通过YML文件配置进行常用参数的配置。用户如集群的使用场景有所变更,可通过更改场景配置修改集群场景模版。支持用户切换Open JDK或Kona JDK。

icon配置管理-插件配置icon

腾讯云ES提供了包括开源 ES 支持插件和自研插件在内的10余款插件,为您提供丰富的插件功能。QQ分词插件是由腾讯云 ES 团队与腾讯 NLP 团队联合研发的中文分词插件,在腾讯内部广泛应用于 QQ、微信、浏览器等业务。QQ 分词插件经过多年的应用实践和不断打磨优化,在分词准确度、分析速度等关键指标上均处于业界领先,您可以在腾讯云 ES 中使用 QQ 分词插件来完成文档的分析和检索。

icon配置管理-调整集群配置icon

支持对集群的可用区部署模式、数据节点部署模式、节点规格、数据盘容量、节点数量、专用主节点、Kibana节点规格以及Kibana节点数量进行调整。基于配置调整的情况,支持通过直调模式、滚动重启模式以及蓝绿模式切换到新配置。

icon配置管理-集群升级icon

支持升级Elasticsearch版本以及升级[高级特性]版本。可通过升级自检确认判断Elasticsearch API与SDK是否存在版本不兼容问题。升级过程中可以继续向集群写入和读取数据,不停服。

icon更多客户的明智选择icon
产品推荐 查看更多>>
    永洪教育行业大数据可视化分析应用方案

    永洪数据科学家团队已建立了完整的大数据专业建设的资源体系,包含课程体系、课时安排、学分分配、师资培训、人才培养方案、在线慕课课程、专业大赛、实习岗位、推荐就业等,涉及大数据教育的各环节,充分响应产教融合的国家号召。

    人才大数据分析

    教务大数据分析

    资产大数据分析

    科研大数据分析

    Tableau Data Management

    通过Tableau Catalog和Prep Conductor,Tableau Data Management Add-on可确保您所在组织始终为目标人群提供正确数据。

    可信的最新数据

    自助式分析技术

    腾讯云 智慧电厂解决方案

    腾讯云-智慧电厂解决方案,利用云计算、大数据分析、物联网、人工智能、移动平台、虚拟现实等新概念和新技术,对传统电厂进行系统升级,建设更安全、更高效、 更经济、更环保的现代化智慧电厂。

    利用云计算、大数据分析等新概念和新技术

    对传统电厂进行系统升级

    更安全、更高效、 更经济、更环保的现代化智慧电厂

    实现工业设备大数据的接入、存储和分析类应用