# python-scrawer

**Repository Path**: tingyuge/python-scrawer

## Basic Information

- **Project Name**: python-scrawer
- **Description**: No description available
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2016-08-12
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#### 简介
项目为爬取扇贝官网上的单词数据，
包括单词的中文与英文释义，
还包括单词的例句方法。
并将爬取的数据存储在MySQL中。

#### 安装
在命令行中使用命令:
> pip install -r requirements.txt

进行安装所需要的第三方库，安装完毕后，运行：
> python crawler_main.py

便可以运行爬虫代码。

如果遇到需要登陆才能爬取的情况，在`html_crawler.py`中找到`login_data`
填入`username`与`password`,并将`download_html`中的注释打开即可。

注意：
> 项目没有兼容python3,所以在python3下运行比较痛苦,可以根据报错自行更改。

> 因为扇贝的域名协议为https协议,所以需要的python要能够支持https。

> 本人环境为python 2.7.12(仅供参考).