LogiEM:一站式 Elasticsearch 集群指标监控与运维管控平台。 阅读本README文档,您可以了解到滴滴LogiEM的产品定位、体验地图、快速安装,并可以在线进行产品体验。
LogiEM 是基于滴滴内部开发的的一套 ES 搜索平台(内部代号 Arius )优化开源而来,它是滴滴搜索团队的一整套 ES 搜索服务和治理体系化思考的全面展现。
目前滴滴内部 ES 集群的规模在60+ 集群,2500+ 节点,10PB 的数据,1500w 写入 TPS, 10w+ 查询 QPS。在滴滴内部大量使用 ES 来作为日志检索、Mysql 实时数据快照、分布式文档数据库、搜索引擎服务等业务场景的基础搜索服务,并在开源 Elasticsearch 基础上提供企业级权限管控、离线索引快速导入、跨集群复制、索引模板服务、DSL审核与分析等功能。
LogiEM针对ES集群运维管控、索引资源管理以及指标监控体系建设等核心场景提供了一套完善的解决方案。通过内部沉淀的一些最佳实践经验,形成了以索引模板为核心的各类模板服务,以DSL查询模板为核心的异常语句的专家分析,以指标监控为核心的集群健康状态指标化展示,并结合工单系统形成完整的产品闭环。
LogiEM 提供了一套体验环境,地址如下:
为避免用户在使用过程中,因为超级管理员视角而产生一些操作误区,LogiEM提供多场景、多视角的产品体验地图,分别是用户体验地图、运维体验地图。
LogiEM 是在滴滴搜索团队多年沉淀的基础上全面优化而来,它从平台、运维、引擎建设三个方面来配合解决大规模 ES 集群使用和运维的各种问题,因此它具有以下优点:
平台侧服务易用性提升:提供功能强大和易用的用户控制台,提供索引、集群、mapping 等常用操作,降低用户使用 ElasticSearch 的成本。
管控侧运维成本降低:提供功能强大和易用的管控平台,开发和运维可以方便的操作集群管控、索引管控、权限管控,降低服务运维成本;提供全面和丰富的监控指标,方便开发和运维快速掌握集群的运行时状态。
引擎侧引擎能力提升:深入引擎定制开发跨集群数据复制、FastIndex 离线索引创建等特性,提升 ElasticSearch 集群稳定性和性能。
LogiEM 平台由一个前端服务(Arius Web Console)和两个后端服务(Arius Admin、Arius GateWay)组成,架构图如下所示:
LogiEM 提供平台、运维、引擎等多维度的能力:
开源特性:用户只用把自己运维的集群接入到 LogiEM,在开源 LogiEM 上就直接可以使用的能力,如:集群的指标采集和监控、集群索引的监控和管理等、接入 Gateway 后还可以获取到全量的查询写入指标。
开源滴滴特性:用户把自己运维的集群接入到 LogiEM 后,按照 LogiEM 的规则创建好索引模板,就可以使用的其能力,这一块主要和滴滴开发的索引模板服务相关,如:模板的升级、查询写入限流等。
商业特性:用户把自己运维的集群接入到 LogiEM 后,需要商业付费后才可以使用的能力,这一块主要包括集群管控和 didi-es 引擎开发的一些能力,如:ES 集群运维操作能力、滴滴 ES 引擎的性能优化等。
规划特性:LogiEM 开源之后,后续规划的一些能力,重点关注的能力有:DSL 流量回放、索引重建、索引备份、引擎级日志 trace 诊断。
本次开源的 LogiEM 0.1 版本,主要是提供开源特性和开源滴滴特性的能力供开源社区用户使用,如果用户对 LogiEM 的商业特性有需求可以联系我们。
LogiEM自动化安装
模块 | 版本 | 端口 |
---|---|---|
Elasticsearch | 7.6 | 8060 |
Kibana | 7.6 | 8601 |
Mysql | 5.7 | 3306 |
Nginx | 1.8 | 80 |
EM_Admin | 0.1 | 8015 |
EM_Gateway | 1.0 | 8200 |
微信加群:关注公众号“云原生可观测性”,回复 "Logi加群"
zhangliangmike、zhaoqingrong、superhua、linyunan、wangpengkai、liuchengxiang、joysunchao、wzhoupeng、guoxusheng
houxiufeng、caijiamin、fengkun ...
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型