Python3 Spider Practice —— Python3 爬虫实战练习

  

              

关于 💡

• ❗ 主要保存了本人在学习爬虫过程中写的代码，稍微复杂一点的在我博客里面有写分析过程，比较简单的项目，分析思路会直接写在 README 里面。

• ❗ 项目中部分代码可能已失效，原因可能是反爬措施更新、页面结构发生变化等，失效的可以提 issue，有时间会更新代码。

• ❗ 本仓库中所有内容仅供学习交流，严禁用于商业用途、非法用途，否则由此产生的一切后果均与作者无关，在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

分类 🏷️

• Material：爬虫相关资料，均从互联网收集；

• AutomationTool：使用自动化工具进行数据采集、验证码处理等；

• BasicTraining：基础训练，一般是比较简单的爬虫；

• CommentPlugin：针对各大评论插件的爬虫，如 Facebook 评论插件等；

• FightAgainstSpider：针对常见的反爬虫手段的爬虫，如字体加密等；

• JSReverse：JS 加密解密、JS 逆向相关文章，重点关注逆向解密过程；【可以关注 K 哥爬虫 同步更新】

• SignIn：针对各种签到、抽奖的爬虫；

• SpiderDataVisualization：爬虫与数据可视化，如 COVID-19 数据可视化等。

目录 📑

目标 / 文章	代码
安居客武汉二手房【Beautiful Soup、CSV】	anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】	douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】	guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】	hupu
猫眼电影TOP100【lxml、Xpath、CSV 】	maoyan-top100
模拟登陆哔哩哔哩【滑动验证码、Selenium】	bilibili-login
模拟登陆12306【点触验证码、Selenium】	12306-login
前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】	51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】	COVID-19
CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】	csdn-sign-in
Facebook 评论插件、留言外挂程序	facebook-comments
Vuukle 评论插件	vuukle-comments
58同城武汉出租房【网站加密字体、MySQL】	58tongcheng
【爬虫知识】浏览器开发者工具使用技巧总结	\
【爬虫知识】爬虫常见加密解密算法	\
【JS 逆向百例】百度翻译接口参数逆向	fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向	fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据	jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向	oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向	passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向	www_37_com
【JS 逆向百例】层层嵌套！匀加速商城 RSA 加密	www_15yunmall_com
【JS 逆向百例】转变思路，少走弯路，小米加密分析	account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置，天凤麻将数据逆向	tenhou_net
【JS 逆向百例】复杂的登录过程，最新微博逆向	weibo_com
【JS 逆向百例】无限debugger绕过，三河市政务网站互动数据逆向	zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试，中烟新商盟登录逆向	www_xinshangmeng_com
【JS 逆向百例】XHR 断点调试，Steam 登录逆向	store_steampowered_com
【JS 逆向百例】如何跟栈调试？某 e 网通 AES 加密分析	web_ewt360_com
JS 逆向之 Hook，吃着火锅唱着歌，突然就被麻匪劫了！	\
【JS 逆向百例】Fiddler 插件 Hook 实战，某创帮登录逆向	m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战，亚航加密参数分析	www_airasia_com
华强电子网登录	passport_hqew_com
学易云登录	passport_xueyiyun_com
天安保险登录	tianaw_95505_cn
宁波大学登录	uis_nbu_edu_cn
航班管家人口流动大数据	unicom_trip_133_cn
惠金所登录	www_hfax_com
咪咕视频登录	www_miguvideo_com
企名片创业项目数据	www_qimingpian_cn
中国移动掌上门户登录	wap_10086_cn
中国联通网上营业厅登录	uac_10010_com
中国电信网上营业厅登录	login_189_cn
爱应用登录	www_iappstoday_com
360 登录	i_360_cn
1号店登录	passport_yhd_com
魅族登录	login_flyme_cn
G妹游戏登录	www_gm99_com

交流群💬