2 Star 1 Fork 2

atompi/Earthling

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
Loading...
README

Earthling

docker-compose 部署日志分析系统 Earthling

architecture diagram

硬件配置:

Elasticsearch 2 台:

CPU E5-2620 v2 * 2
内存 64GB
硬盘 1TB * 8 组RAID5
磁盘分区 / 200G
/data 800GB
/data1 3TB
/data2 3TB

Logstash + Kafka 一台:

CPU E5-2620 v4 * 2
内存 64GB
硬盘 600GB * 4 组RAID5
磁盘分区 / 200G
/data 1.6TB

Kibana + Nginx 一台:

CPU E5-2407 v2 * 1
内存 32GB
硬盘 600GB * 4 组RAID5
磁盘分区 / 200G
/data 1.5TB

软件要求:

CentOS 7.5

Docker CE 18.x

基础设施部署

基于 consul 和 overlay 实现 Docker 容器跨主机通信

启动 key-value 数据库 Consul ( ES 集群外某一个节点启动即可)

docker run -d -p 8500:8500 -h consul --name consul --restart always consul:1.3.0 agent -server -client=0.0.0.0 -ui -bootstrap-expect 1

修改 docker.service 配置( ES 集群所有节点都需要修改)

ExecStart 行最后添加:

--cluster-store=consul://<consul-host-ip>:8500 --cluster-advertise=ens33:2376

格式如下:

ExecStart=/usr/bin/dockerd --cluster-store=consul://192.168.2.2:8500 --cluster-advertise=ens33:2376

其中: ens33 为当前宿主机与 <consul-host-ip> 同网段的网卡名; 192.168.2.2<consul-host-ip>

重载 docker.service 并重启 docker.service

systemctl daemon-reload
systemctl restart docker

创建 overlay network

docker network create -d overlay ov_net1

docker network ls 查看结果如下:

~ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
fec6ac65fff7        bridge              bridge              local
841f26dc5ce6        docker_gwbridge     bridge              local
666246ca98ac        host                host                local
47bef3b786a3        none                null                local
57918bacb25f        ov_net1             overlay             global

此时在宿主机中创建容器时指定 network 参数为创建的 overlay network: ov_net1 即可跨宿主机通信,默认容器 IP 段为: 10.0.0.0/24

如:

docker run -it --rm --network ov_net1 alpine:3.8

组件部署

Elasticsearch

Logstash+Kafka

Kibana

Filebeat

Kafka-Eagle Kafka Monitor 工具,建议与 Kafka 部署在同一机器

空文件

简介

基于 Elastic Stack 的日志分析系统 Earthling 展开 收起
取消

发行版

暂无发行版

贡献者 (1)

全部

近期动态

4年前推送了新的提交到 7.13.3 分支,220d219...e6b3eeb
4年前推送了新的 7.13.3 分支
6年多前推送了新的提交到 master 分支,0484f31...7837d12
6年多前推送了新的提交到 master 分支,6fea115...0484f31
6年多前推送了新的提交到 master 分支,fbc1e51...6fea115
加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Docker
1
https://gitee.com/atompi/Earthling.git
git@gitee.com:atompi/Earthling.git
atompi
Earthling
Earthling
master

搜索帮助