# biquge-spider

**Repository Path**: zzmm/biquge-spider

## Basic Information

- **Project Name**: biquge-spider
- **Description**: 小说网站笔趣阁爬虫
使用了python+scrapy爬取小说
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 3
- **Created**: 2016-08-23
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# biquge-spider 对于小说网站 http://www.biquge.la/ 的小说资源进行爬取

# 运行环境
1. 操作系统: windows、linux、osx
2. python: 2.7.11
3. 依赖包: scrapy

# 脚本之行方式

## 设置爬取的小说存放目录
修改${PROJECT}/biquge-spider/settings.py文件中的`WEBSITE_DIR`的数值确定小说存放路径

## 进入工程目录
> cd /Users/zouxiaoliang/sd/workspace/gitosc/biquge-spider

执行ls命令得到如下信息:
LICENSE  README.md  biquge/  scrapy.cfg
 
## 查看spider
> scrapy list

## 执行爬虫
> srcapy crawl biquge-spider-v2