# when_code

**Repository Path**: wangchenglogo/when_code

## Basic Information

- **Project Name**: when_code
- **Description**: 个人代码记录
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2022-10-20
- **Last Updated**: 2023-06-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: python3, Selenium

## README

# when_code

#### 一、介绍
个人代码记录，目前该项目包含内容如下

1.  实时爬取boss直聘指定页面的招聘数据，解析入库mysql。详情请查看`crawler/README.md`文件

#### 二、软件架构
基于Python3.9开发，可在linux和windows上直接运行


#### 三、安装教程

1.  拉取master分支代码，到开发环境，执行`pip install -r crawler/requirements.pip`安装依赖
2.  将crawler/docs/*.conf拷贝到supervisor的conf目录下执行`supervisorctl update`即可完成安装
3.  使用`supervisorctl status`验证程序是否运行成功

#### 四、主要目录结构
```
|-- when_code
    |-- components                              # **公共组件**
        |-- mysql_client                        # -- mysql连接器
        |-- proxy_utils                         # -- 代理相关
    |-- crawler                                 # **爬虫模块**
        |-- base_module                         # -- 爬虫基础能力
        |-- config                              # -- 配置文件
        |-- docs                                # -- 文档目录
            |-- sql                             # -- 数据库sql存档
        |-- orm_model                           # -- orm基类
        |-- website                             # -- 以实现爬取网站目录
```

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request