# CuBingSpider

**Repository Path**: panshidi/cu-bing-spider

## Basic Information

- **Project Name**: CuBingSpider
- **Description**: 采用Scrapy框架搭建的一个粗饼网爬虫
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2022-03-23
- **Last Updated**: 2022-06-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# CuBingSpider

#### 介绍
采用Scrapy框架搭建的一个粗饼网爬虫


#### 安装教程

```shell
pip install Scrapy
pip install MySQLdb 
pip install fake-useragent
```

#### 使用说明

创建数据库和表如图所示（可执行下方SQL语句）

![数据库结构](https://images.gitee.com/uploads/images/2022/0323/221224_3dc9cfc3_9150412.png "屏幕截图 2022-03-23 221213.png")

![输入图片说明](https://images.gitee.com/uploads/images/2022/0323/223304_eb39f32c_9150412.png "屏幕截图 2022-03-23 221810.png")

![输入图片说明](https://images.gitee.com/uploads/images/2022/0323/221512_f93a288d_9150412.png "屏幕截图 2022-03-23 221435.png")

**执行如下SQL**：
```sql
create database cubing default character set utf8;

use cubing;

-- 创建cubing_table表
create table cubing_table
(
	name varchar(256) null,
	wca_id varchar(512) not null primary key,
	region varchar(256) null,
	sex varchar(16) null,
	experience varchar(256) null,
	frequency varchar(256) null,
	url_id varchar(512) null
);

-- 创建ip_table表
create table ip_table
(
  id int primary key auto_increment not null,
  ip varchar(64) not null default ''
);

```


## 启动项目前的准备:
1. 修改pipelines.py中的db信息
2. 修改ip.py中的db信息(如果不设置代理IP，请注释掉 settings.py 中的DOWNLOADER_MIDDLEWARES)
4. 执行main.py


#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request