通过一个实际的项目，来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例，对组内的图片进行爬取，相关信息保存数据到MongoDB，图片下载到本地。

Python+pytest+allure+log+yaml（默认数据和动态传参）+ 数据驱动+关键字驱动+单接口参数化+多接口动态传参+pymysql （数据清理尽量接口清理）+一键切换环境+多角色随意切换 （admin后台，SaaS后台，APP卖家，APP买家）+Jenkins持 续集成+Git+钉钉输出测试报告+并发执行+emoji表情+mark等操作+ 每个测试用例独立

实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:

wubi input

爬取微博内评论，获取评论内容和图片信息

本文使用Python编写爬虫，通过向端口传送请求并且抓取传输过来的json字符串来获取招聘职位信息，并且分类保存为csv格式的表格文件。最后通过长时间的爬取，最终得到37.7MB的表格数据，共计314093个招聘信息。之后通过SPSS对数据进行预处理和统计，再进行深度数据分析。