# scrapy-example

**Repository Path**: jason-liufushun/scrapy-example

## Basic Information

- **Project Name**: scrapy-example
- **Description**: 发布一个scrapy小例子，主要是了解框架爬虫的体验使用，其中模块化安装scrapy使用到了conda。（windows命令详见readme.txt）
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-08-31
- **Last Updated**: 2021-08-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# scrapy小例子

#### 介绍
发布一个scrapy小例子，主要是了解框架爬虫的体验使用，其中模块化安装scrapy使用到了conda。（windows命令详见readme.txt）







#### 软件架构
软件架构说明


#### 安装教程
使用命令(windows)







1. conda install scrapy//安装scrapy

 如果python环境不对需要另外安装python环境

2. conda create --name python36 python=3.6 //创建一个3.6的环境

3. activate python36//激活名字为python36的python环境作为conda的环境

4. scrapy startproject quotetutorial //构建一个项目，名字叫quotetutorial

5. scrapy genspider quotes quotes.toscrape.com  //自动构建一个爬取quotes quotes.toscrape.com网址的代码

6. scrapy crawl quotes -o quotes.csv/.json  //运行爬虫代码。  -o 后面表示将爬取的信息导出为csv或者json，还可远程ftp导出