# py-spider

**Repository Path**: lauset/py-spider

## Basic Information

- **Project Name**: py-spider
- **Description**: 采用 WxPython GUI 框架完成的数据录入程序。GUI 界面可直接操作录入按钮，使用爬虫获取数据，并连接 MySQL 数据库录入数据同时记录爬虫日志
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-12-02
- **Last Updated**: 2024-01-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Python

## README

# ac-spider-py

### 介绍

采用 `WxPython GUI` 框架完成的数据录入程序。GUI 界面可直接操作录入按钮，使用爬虫获取数据，并连接 MySQL 数据库录入数据同时记录爬虫日志。

可使用爬虫接口如下：

- [x] 疫情风险地区数据录入
- [x] 天气数据录入
- [ ] 其他...

### 项目结构

    爬虫接口：apis

    静态资源：assets
    
    配置文件：config
    
    测试程序：test

    辅助工具：utils
    
    启动程序：appFrame.py

    安装程序：setup


### 项目依赖

安装依赖

```py
pip3 install -r requirements.txt
```

生成 requirements.txt

```py
pip3 freeze > requirements.txt
```

### 使用说明

1. 数据库配置
   
   修改 `config/db.ini` MYSQL8数据库配置文件和表名配置(TABLE),运行 sql 文件夹下 `sql表结构文件`

    每日天气数据：py_dayinfo 表名对应 config TABLE 下的 **day**

    小时天气数据：py_hourinfo 表名对应 config TABLE 下的 **hour**

    实时天气数据：py_nowinfo 表名对应 config TABLE 下的 **now**

    疫情风险地区：sys_fx_address 表名对应 config TABLE 下的 **address**
    

2. 运行 `test/appWea.py` 和 `test/appYq.py` 分别执行天气数据的录入和疫情风险地区数据的录入测试

3. 可在 apis 下新增爬虫接口

3. 运行界面程序 appFrame.py 启动 GUI 界面


### GUI界面说明

按钮操作：

    **Timing**： 启动定时任务，开启后状态栏可查看任务执行倒计时，再次点击停止定时任务

    **Clear**：清空当前 TextCtrl 面板内的日志

    **Start**： 按钮用于执行录入数据的任务，将会把日志打印在 TextCtrl 面板

    **Yq**：执行疫情风险地区数据录入

    **Wea**：执行天气数据录入

    **Exit**：退出


### 其他

格式化：`black` ("python.formatting.provider": "black")

日志存放：项目根目录(py-sider/)，分为 `py` 后缀（爬虫日志）`win` 后缀（程序日志）


### 问题项

1. Mac 下在 appFrame.py 文件中的 python 命令可能需要改为 python3

2. 使用 python ./appFrame.py 或者 IDE 集成的执行命令运行主程序，出现包缺失（前提是已安装依赖却还是会提示），可尝试 cd angel5 文件夹下再执行命令