# learning

**Repository Path**: deepinspace/python_demo

## Basic Information

- **Project Name**: learning
- **Description**: python学习相关的项目
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2017-05-03
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## jd_book
    爬取京东的图书的项目

## sql_demo1
    连接数据库的demo示例

## lagou2项目：
    依赖：Python，scrapy，下载图片加了：urllib2
    我的环境：Python2.7
    然后安装了pip和easy_install
    安装了pip后可以直接安装插件：
    pip install scrapy
    pip install urllib2

### myspider这三个是可以直接运行的，是爬取网站的示例；
    运行命令：
    （1）scrapy.exe（或scrapy） runspider myspider3.py
    （2）输出到文件夹： scrapy.exe runspider myspider3.py -o items.json
    （3）输出到文件夹并且编码： scrapy.exe runspider myspider3.py -o lablist.json -s FEED_EXPORT_ENCODING=UTF-8

### lagou2项目：
    （1）是一个爬虫项目，可以设置爬取策略，并且下载图片
    （2）设置在settings.py文件夹里面：
    时间设置:DOWNLOAD_DELAY = 1
    图片位置:IMAGES_STORE='D:/demos/python_demo/lagou2/img' # 自行修改
    请求头设置：DEFAULT_REQUEST_HEADERS
    编码设置：FEED_EXPORT_ENCODING = 'utf-8'
    ……

    运行项目：
    scrapy list #查看写了哪些爬虫
    scrapy crawl lab_list#这是爬虫名字
    输出到文件夹:
    scrapy crawl lab_list -o items.json
    如果不需要下载图片，把pipelines.py里面的if那块全删除掉，只剩下return item就可以