Earthling: 基于 Elastic Stack 的日志分析系统 Earthling

# Earthling

docker-compose 部署日志分析系统 Earthling

![architecture diagram](imgs/Earthling-architecture.png)

## 硬件配置：

### Elasticsearch 2 台：

<table>
   <tr>
      <td>CPU</td>
      <td colspan="2">E5-2620 v2 * 2</td>
   </tr>
   <tr>
      <td>内存</td>
      <td colspan="2">64GB</td>
   </tr>
   <tr>
      <td>硬盘</td>
      <td colspan="2">1TB * 8 组RAID5</td>
   </tr>
   <tr>
      <td rowspan="4">磁盘分区</td>
      <td>/</td>
      <td>200G</td>
   </tr>
   <tr>
      <td>/data</td>
      <td>800GB</td>
   </tr>
   <tr>
      <td>/data1</td>
      <td>3TB</td>
   </tr>
   <tr>
      <td>/data2</td>
      <td>3TB</td>
   </tr>
</table>

### Logstash + Kafka 一台：

<table>
   <tr>
      <td>CPU</td>
      <td colspan="2">E5-2620 v4 * 2</td>
   </tr>
   <tr>
      <td>内存</td>
      <td colspan="2">64GB</td>
   </tr>
   <tr>
      <td>硬盘</td>
      <td colspan="2">600GB * 4 组RAID5</td>
   </tr>
   <tr>
      <td rowspan="5">磁盘分区</td>
      <td>/</td>
      <td>200G</td>
   </tr>
   <tr>
      <td>/data</td>
      <td>1.6TB</td>
   </tr>
</table>

### Kibana + Nginx 一台：

<table>
   <tr>
      <td>CPU</td>
      <td colspan="2">E5-2407 v2 * 1</td>
   </tr>
   <tr>
      <td>内存</td>
      <td colspan="2">32GB</td>
   </tr>
   <tr>
      <td>硬盘</td>
      <td colspan="2">600GB * 4 组RAID5</td>
   </tr>
   <tr>
      <td rowspan="2">磁盘分区</td>
      <td>/</td>
      <td>200G</td>
   </tr>
   <tr>
      <td>/data</td>
      <td>1.5TB</td>
   </tr>
</table>

## 软件要求：

CentOS 7.5

Docker CE 18.x

## 基础设施部署

### 基于 consul 和 overlay 实现 Docker 容器跨主机通信

#### 启动 key-value 数据库 Consul （ ES 集群外某一个节点启动即可）

```
docker run -d -p 8500:8500 -h consul --name consul --restart always consul:1.3.0 agent -server -client=0.0.0.0 -ui -bootstrap-expect 1
```

#### 修改 `docker.service` 配置（ ES 集群所有节点都需要修改）

在 `ExecStart` 行最后添加：

```
--cluster-store=consul://<consul-host-ip>:8500 --cluster-advertise=ens33:2376
```

格式如下：

```
ExecStart=/usr/bin/dockerd --cluster-store=consul://192.168.2.2:8500 --cluster-advertise=ens33:2376
```

**其中： `ens33` 为当前宿主机与 `<consul-host-ip>` 同网段的网卡名； `192.168.2.2` 为 `<consul-host-ip>`**

#### 重载 docker.service 并重启 docker.service

```
systemctl daemon-reload
systemctl restart docker
```

#### 创建 overlay network

```
docker network create -d overlay ov_net1
```

`docker network ls` 查看结果如下：

```
~ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
fec6ac65fff7        bridge              bridge              local
841f26dc5ce6        docker_gwbridge     bridge              local
666246ca98ac        host                host                local
47bef3b786a3        none                null                local
57918bacb25f        ov_net1             overlay             global
```

此时在宿主机中创建容器时指定 `network` 参数为创建的 `overlay network: ov_net1` 即可跨宿主机通信，默认容器 IP 段为： `10.0.0.0/24`

如：

```
docker run -it --rm --network ov_net1 alpine:3.8
```

## 组件部署

[Elasticsearch](Elasticsearch/README.md)

[Logstash+Kafka](LogstashKafka/README.md)

[Kibana](Kibana/README.md)

[Filebeat](Filebeat/README.md)

[Kafka-Eagle](Kafka-Eagle/README.md) **Kafka Monitor 工具，建议与 Kafka 部署在同一机器**

atompi/Earthling

About

Releases

Contributors

Activities

atompi/Earthling .gitee-modal { width: 500px !important; }

About

Releases

Contributors

Activities

Search

atompi/Earthling