# IT_Outsource_Crawler

**Repository Path**: python_-crawler_-project/it_-outsource_-crawler

## Basic Information

- **Project Name**: IT_Outsource_Crawler
- **Description**: 爬取6大外包平台订单，实现同步更新、定时爬取和保存到数据库。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2020-09-17
- **Last Updated**: 2022-04-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 1.项目说明
本项目实现定时爬取外包平台的订单并保存，爬取的网站主要包括码市、开源中国、人人开发、实现、51外包和猿急送6个外包订单平台，并先后实现两个版本：
### Version 1.0
1.0版本是初始版本，实现爬取6个网站的订单信息，并分别保存到Excel表格的6个Sheet中，同时实现定时爬取，每半个小时爬取一次，并将文件上传到企业微信群以便寻单人员使用。

### Version 2.0
2.0版本在1.0版本的基础上实现了保存所有订单到MySQL数据库中，并判断单子的有效性（是否已经过期或已被接），有效的单子保存到Excel表格并发送到企业微信群中，同时如果发生异常，会将异常信息发送到测试群，便于开发人员排错。

## 2.项目配置
所有配置信息均在各版本的config.py中，可以根据自己的需要进行修改。
### 安装依赖库
下载或clone项目后，需要使用各版本中的requirements.txt安装依赖库，直接在各版本目录下执行`pip install -r requirements.txt -i https://pypi.douban.com/simple`即可。

### 配置文件修改
config.py中的企业微信机器人key、数据库配置等均需根据自己的需要进行修改，同时需要创建数据库名为it_outsource或者自己需要的名称。

## 3.项目运行
直接在各版本目录下执行`python crawler.py`即可运行项目、开始采集订单。