# Crawler-W

**Repository Path**: hf303/Crawler-W

## Basic Information

- **Project Name**: Crawler-W
- **Description**: 舞阳爬虫
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: dev
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-10-17
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Crawler-W

#### 介绍
舞阳爬虫



#### 使用说明

1.  安装环境python 3.6
2.  安装`scrapy`
3.  创建数据库对应的表结构并修改`wy/Item2DB.py`下的数据库连接配置
4.  读取到路径`wy/wy`上
5.  `cmd`中运行指令`scrapy crawl quotes`
6.  等待连接

#### 需要修改的特性

1. 添加批量插入功能
2. 修改到`piplines`中实现数据存储（考虑重写`hash`)
3. 将数据存储到`pandas.dataform`中去处理（可增加灵活性）
4. 将数据去重的时候的`dict`修改为`set`（问题不大）