Chinadaily Scrapy Crawler 是一个基于 Scrapy 框架的中国日报经济频道爬虫项目,旨在学习 Scrapy 技术和订阅最新资讯。项目以学习为目的,仅用于个人学习,严格控制请求频率(每 3 秒内仅发送一次请求),能够从 https://www.chinadaily.com.cn/business/economy 获取文章列表及对应的文章内容,并支持指定分页抓取。
通过结合 ElementPlus 前端组件与 Spring Boot 后端服务,演示单个文件与多个文件的同步和异步上传、多文件一次性上传及文件流式下载功能的实现。每个上传操作包括element-plus原生上传和自定义上传方式两种情况。同步是同一时间只能有一个文件上传,异步是指同一时间有多个文件上传。
使用 gevent.pywsgi.WSGIServer 启动 pypiserver,支持高并发, 默认会允许远程下载,服务端口会从 63000~60000 开始逐个遍历,寻找可用端口,如果处于局域网中,会输出局域网 ip:port, 否则输出 127.0.0.1:port, 仅支持 http 协议