# msc_data2house

**Repository Path**: mw_sicau-coie/msc_data2house

## Basic Information

- **Project Name**: msc_data2house
- **Description**: 有数成屋的代码仓库
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-10-10
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# data2house

#### 介绍
建立数据选房的初创项目

#### 软件架构
![](https://img.shields.io/badge/-Scrapy-brightgreen)
![](https://img.shields.io/badge/-Redis-brightgreen)
![](https://img.shields.io/badge/-MySQL-brightgreen)


#### 安装教程
1. Download或clone本项目
2. 安装依赖
```
 pip install requirements.txt 
```
3. 安装MySQL, 导入数据库结构
```
mysql>source db.sql
```
4. 安装Redis

#### 使用说明

##### 配置
1. lianjia_redis_master/settings.py
```buildoutcfg
# Redis Config
REDIS_HOST = '127.0.0.1' #Redis数据库地址
REDIS_PORT = 6379 # 端口

# 接收邮件提示的邮箱 可配置多个
receivers = ['xxxxx@qq.com']
```
2. lianjia_redis_slaver/settings.py
```buildoutcfg
# 接收邮件提示的邮箱 可配置多个
receivers = ['xxxxx@qq.com']

# Proxy Config
proxyServer = ""  # 动态转发代理服务器地址
appkey = ''  # 代理服务商提供的key
CONCURRENT_REQUESTS = 15  # 最大并发数,与动态转发并发请求数保持一致

# Redis Config
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
```
3. lianjia_redis_slaver/piplines.py
```buildoutcfg
host='127.0.0.1',  # 数据库地址
port=3306,  # 数据库端口
db='datagroup',  # 数据库名
user='xxx',  # 数据库用户名
passwd='xxx',  # 数据库密码
```
##### 运行(linux)
1. 运行 master 
```
python3 lianjia_redis_master/runScrapy.py
```
2. 运行 slaver
```
python3 lianjia_redis_slaver/runScrapy.py
```