# 爬取知乎最受欢迎的宅男女神

**Repository Path**: paprika0321/zhihubeauty

## Basic Information

- **Project Name**: 爬取知乎最受欢迎的宅男女神
- **Description**: 使用scrapy框架爬取数据,数据库选用MongoDB和Redis,先爬取知乎上回答过同一类问题的用户群体(代号A)及其粉丝群体(代号B),从B中根据关注A的数量筛选出最佳粉丝群体(代号B+),再从A中根据其在B+中的粉丝数量筛选出最佳用户(代号A+).
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2018-08-15
- **Last Updated**: 2021-11-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 爬取知乎最受欢迎的宅男女神

#### 项目介绍
使用scrapy框架爬取数据,数据库选用MongoDB和Redis,先爬取知乎上回答过同一类问题的用户群体(代号A)及其粉丝群体(代号B),从B中根据关注A的数量筛选出最佳粉丝群体(代号B+),再从A中根据其在B+中的粉丝数量筛选出最佳用户(代号A+).


#### 使用说明

1. 在scrapy项目中的settings.py修改MONGO_URI和MONGO_DB,然后在middleware.py修改ProxyMiddleware,此处设置为蘑菇代理
2. about_zhihu_beauty.py-对scrapy爬取的数据进行分析,保存数据库Redis
3. zhihu_beauty_question.py-爬取女神回答过的提问并分析,保存数据库Redis