# log-parsing-system

**Repository Path**: sdm89/log-parsing-system

## Basic Information

- **Project Name**: log-parsing-system
- **Description**: log-parsing-system
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2023-05-24
- **Last Updated**: 2023-05-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Log parsing

## 相关背景

随着互联网、物联网等技术的发展，日志分析成为了企业信息化建设的重要内容之一。通过日志分析可以帮助企业诊断问题、优化性能、提升用户体验、提高安全性等。

为了实现日志的采集、存储、检索、过滤、分析和可视化，我们决定采用ELK架构（Elasticsearch+Logstash+Kibana）。

## 准备工作
~~~
Python >= 3.8.0 (推荐3.8+版本)
nodejs >= 14.0 (推荐最新)
Mysql >= 5.7.0 (可选，默认数据库sqlite3，推荐8.0版本)
Redis(可选，最新版)
Elasticsearch+Logstash+Kibana(后期扩展)
~~~

## 前端♝

```bash
# 克隆项目
git clone https://gitee.com/liqianglog/django-vue-admin.git

# 进入项目目录
cd web

# 安装依赖
npm install --registry=https://registry.npm.taobao.org

# 启动服务
npm run dev
# 浏览器访问 http://localhost:8080
# .env.development 文件中可配置启动端口等参数
# 构建生产环境
# npm run build
```



## 后端💈

~~~bash
1. 进入项目目录 cd backend
2. 在项目根目录中，复制 ./conf/env.example.py 文件为一份新的到 ./conf 文件夹下，并重命名为 env.py
3. 在 env.py 中配置数据库信息
	mysql数据库版本建议：8.0
	mysql数据库字符集：utf8mb4
4. 安装依赖环境
	pip3 install -r requirements.txt
5. 执行迁移命令：
	python3 manage.py makemigrations
	python3 manage.py migrate
6. 初始化数据
	python3 manage.py init
7. 初始化省市县数据:
	python3 manage.py init_area
8. 启动项目
	python3 manage.py runserver 0.0.0.0:8000
或使用 gunicorn :
  gunicorn -c gunicorn_conf.py application.asgi:application
~~~

### 访问项目

- 访问地址：[http://localhost:8080](http://localhost:8080) (默认为此地址，如有修改请按照配置文件)
- 账号：`superadmin` 密码：`admin123456`





### docker-compose 运行

~~~shell
# 先安装docker-compose (自行百度安装),执行此命令等待安装，如有使用celery插件请打开docker-compose.yml中celery 部分注释
docker-compose up -d
# 初始化后端数据(第一次执行即可)
docker exec -ti dvadmin-django bash
python manage.py makemigrations 
python manage.py migrate
python manage.py init_area
python manage.py init
exit

前端地址：http://127.0.0.1:8080
后端地址：http://127.0.0.1:8080/api
# 在服务器上请把127.0.0.1 换成自己公网ip
账号：superadmin 密码：admin123456

# docker-compose 停止
docker-compose down
#  docker-compose 重启
docker-compose restart
#  docker-compose 启动时重新进行 build
docker-compose up -d --build
~~~

## 演示图

![image-01](https://foruda.gitee.com/images/1682179942561449504/020863bb_5074988.jpeg)

![image-02](https://foruda.gitee.com/images/1682179701820334814/f20eb5e8_5074988.png)

![image-03](https://foruda.gitee.com/images/1682179718209143602/e6b6a4b1_5074988.png)

![image-04](https://foruda.gitee.com/images/1681118349561624452/d917f8bc_5074988.jpeg)

![image-05](https://foruda.gitee.com/images/1681118368415555513/03a8db63_5074988.jpeg)

![image-06](https://foruda.gitee.com/images/1681118379484890540/6f9caa75_5074988.jpeg)

![image-07](https://foruda.gitee.com/images/1681118387902110958/86d86d80_5074988.jpeg)

![image-08](https://foruda.gitee.com/images/1681118398381431700/1e3fa0ec_5074988.jpeg)

![image-09](https://foruda.gitee.com/images/1681118450796081811/aa00a240_5074988.png)

![image-10](https://foruda.gitee.com/images/1681118482618114892/5cc2e297_5074988.png)

![image-11](https://foruda.gitee.com/images/1681118492497719384/52a47252_5074988.png)

![image-12](https://foruda.gitee.com/images/1681118517168485285/f34152ba_5074988.png)

![image-13](https://foruda.gitee.com/images/1681118527820910716/43a7c660_5074988.png)