# spider_pro

**Repository Path**: HZJ_LHY/spider_pro

## Basic Information

- **Project Name**: spider_pro
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: dev
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-01-28
- **Last Updated**: 2024-01-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# AppGrowing

- 此次爬取的网站为AppGrowing游戏预约榜，采集数入库方式为存入数据库，共需存入三个表，分别为app应用表、adverts广告表、belong归属表。

## 参考文档

- [项目需求](https://doc.weixin.qq.com/doc/w3_ALUA0wZaADcQa0U0V1YSQW1KrPASk?scode=AOwAYgeoAAkcxSQ7PTAOwAZgaiADI)
- [免密插件](http://market-doc.shiyuegame.com/web/#/p/5f335cd1219b89e9ea045d1fd25d5c15)
- [AppGrowing](https://appgrowing-global.youcloud.com/game-reservation)

## 依赖环境

```shell
# 克隆项目仓库
git clone git@client-gitlab.shiyue.com:spider/AppGrowing.git -b dev

# 安装依赖关系生成工具(主要为例解决不同系统直接兼容性问题)
pip install pipreqs

# 每次新增依赖时重新执行一下
pipreqs ./
pipreqs . --force --print --encoding=utf-8 > pip.txt
# 自定义命名
pipreqs . --force --print --encoding=utf-8 > pip.txt
# 本地测试运行命令
D:\PY\python_qianyi\AppGrowing\venv\Scripts\python D:\PY\python_qianyi\AppGrowing\main.py
# 指定国内源安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r pip.txt
```

## 启动示例

```shell
# 重启服务
sh inv.sh restart

sudo supervisorctl tail -f app_growing stderr
sudo supervisorctl tail -1000 app_growing stderr

# 启动失败查错
sudo supervisorctl tail app_growing stderr
```

## 项目结构

AppGrowing/                         <-- 根目录
|
+- core/                            <-- 项目核心包(业务实现部分)
|
+- venv/                            <-- 虚拟环境
|
+- .gitignore                       <-- 忽略文件
|
+- app_growing.ini                  <-- Supervisor配置文件
|
+- constant.py                      <-- 常量模块
|
+- inv.sh                           <-- 启动脚本
|
+- main.py                          <-- 项目入口文件
|
+- README.md                        <-- 项目文档
|
+- requirements.txt                 <-- pip依赖文件
|
+- utils.py                         <-- 通用工具函数模块
|
+- doc                              <-- 项目资源文件