Metrics
0
Watch 111 Star 250 Fork 88

mktime / scrapy-douban-groupPythonMIT

Sign up for free
Explore and code with more than 2 million developers,Free private repositories !:)
Sign up
通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。 spread retract

Clone or download
Loading...
README.md

douban_scrapy

感谢豆瓣小组提供数据来源

环境准备

快速开始

#: 安装必要 python 库

sudo pip install scrapy

sudo pip install pymongo

#: 下载图片到本地,并且保存相关信息到MongoDB中.

scrapy crawl haixiuzu

#: 生成本地相册需要的json data.

python check.py

#: 建立本地http server

python -m SimpleHTTPServer 80

#: 打开浏览器输入http://localhost/gallary

已实现的功能

  • 爬取大家的发贴信息(标题、标题URL、作者、作者URL等),以及下载图片到本地
  • 爬取用户地理位置信息
  • 增加RandomUserAgent功能,防止被BAN
  • 增加延时抓取功能,防止被BAN
  • 由于下载妹子图片较多,故采用hash方法分散到多个目录进行管理,提高打开文件夹速度

计划实现的功能

  • 本地相册功能,可以在浏览器内预览图,通过快捷键j,k,space等对图片进行翻页,加红心,删除等功能
  • 本地相册功能打算借鉴(fgallery)[http://www.thregr.org/~wavexx/software/fgallery/demo/]
  • 如果图片对应的topic已被管理员删除,则高亮显示

更多

Comments ( 2 )

You need to Sign in for post a comment

Help Search