# ScrapyAnything

**Repository Path**: MarkShawn2020/ScrapyAnything

## Basic Information

- **Project Name**: ScrapyAnything
- **Description**: 使用Scrapy爬取主流网站的项目集合，持续更新。
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-08-24
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Scrapy Anything 

这是一个用**Scrapy大规模爬取各大主流网站**的项目集合。

- [x] 微博(.com主站)
- [x] 豆瓣 (2020/03/21)
- [ ] 淘宝
- [ ] 天猫
- [ ] 美团
- [ ] 微信公众号历史文章
- [ ] 微信小程序
- [ ] 抖音
- [ ] 亚马逊
- [ ] 雪球
- [ ] 知乎
- [ ] CSDN
- [ ] 知乎
- [ ] Github
- [ ] Others...

### TODO
- [ ] 爬虫自动化测试框架
  - [ ] 单点测试
  - [ ] 速率测试
  - [ ] 并法测试
  - [ ] 领域测试
  - [ ] 界面开发

### About Me
数据采集、数据分析、数据可视化爱好者。


> 图片如无法显示，可参考这篇:- [【最新】解决github图片不显示的问题_Antrn的博客-CSDN博客](https://blog.csdn.net/qq_38232598/article/details/91346392)