# web_mining_51job

**Repository Path**: wingyan/web_mining_51job

## Basic Information

- **Project Name**: web_mining_51job
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-05-23
- **Last Updated**: 2021-05-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# web_mining_51job

### 1.网络请求  
使用HTMLSession()获取该链接的网页  

### 2.解析HTML  
通过对比不同的URL链接来分析参数的变化。  

### 3.参数构建  
选择了行业、工作年限以及学历这三个参数，并对他们进行参数模板的构建。  

### 4.生成URL  
根据URL参数的规则，编写函数来自动生成URL。  

### 5.获取页面信息  
1.利用翻页去抓取每一页HTML的链接  
2.再根据所获取的链接，用Xpath去获取其每一条链接里面的页面内容。  
3.利用循环遍历去获取每一个职位的详情页信息。  

### 6.存入数据  
将获取到的数据导出到Excel文件中。