通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。
最近更新: 4天前原创全平台IM通信层框架,轻量级、高度提炼,历经10年、久经考验。同时支持UDP+TCP+WebSocket三种协议,支持iOS、Android、Java、H5、微信小程序、Uniapp、鸿蒙Next,服务端基于Netty。
最近更新: 1个月前POI 工具类,Excel的快速导入导出,Excel模板导出,Word模板导出,可以仅仅5行代码就可以完成Excel的导入导出,修改导出格式简单粗暴,快速有效,easypoi值得你尝试
🚀🚀🚀NiceFish(美人鱼) 是一个系列项目,目标是示范前后端分离的开发+部署模式,包括: 浏览器环境、移动端环境、Electron 环境;后端有两个版本:SpringBoot 版本和 SpringCloud 版本。请不要吝惜你的⭐️ Star ⭐️,星星越多,动力越足。
最近更新: 1年前统一配置中心 用于所有项目统一的配置集中管理,简化运维和项目部署,具备高灵活性,高性能,高稳定性,高及时性。 同时具备配置项的负载均衡和故障转移,从而实现项目的软性的负载均衡和故障转移能力。
最近更新: 3年前.net 业务消息队列是应用于业务的解耦和分离,应具备分布式,高可靠性,高性能,高实时性,高稳定性,高扩展性等特性。 优点: 1.大量的业务消息堆积能力 2.无单点故障及故障监控,异常提醒 3.生产者端负载均衡,故障转移,故障自动恢复,并行消息插入。 4.消费者端负载均衡,故障保持,故障自动恢复,并行消息消费。 5.消息高可靠性持久化,较高性能,较高实时性,高稳定性,高扩张性。 6.支持99*99个消息分区,单个消息分区单天支持近1亿的消息存储。 7.消费者拉方式获取消息,在高并发,大量消息涌入的情况下,只要消费能力足够,不会有消息延迟,消息越多性能越好。
最近更新: 3年前