通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。
最近更新: 4天前📗 Spring Boot + Vue 3.2 + Vite 4.3 前后端分离个人博客(可作为 Java 毕业设计项目)~ 感谢点个 Star 呀~
最近更新: 1年多前业务场景:用户在拉勾网投递简历时,我们会为每次投递的简历生成一份快照,将快照信息存储到 MongoDB中。 功能需求:搭建MongoDB分片集群,模拟简历快照数据进行操作,具体要求如下: (1) 如图搭建一个分片集群,要求每个分片节点中的复制集含有一个仲裁节点 (2) 使用权限控制,建立要访问的数据库lg_resume,这个账号名字是lagou_gx、密码是abc321 这个账号对数据库有读写权限 (3) 使用SpringBoot 进行访问分片集群,对lg_resume 库中的lg_resume_datas 进行增加和查询操作
最近更新: 5年多前问题描述 一、数据说明: Capital Bikeshare (美国Washington, D.C.的一个共享单车公司)提供的共享单车数据。数据包含每天的日期、天气等信息,需要预测每天的共享单车骑行量。 批改标准 1. 对数据做数据探索分析(可参考EDA_BikeSharing.ipynb,不计分) 2. 适当的特征工程(可参考FE_BikeSharing.ipynb,不计分) 3. 对全体数据,随机选择其中80%做训练数据,剩下20%为测试数据,评价指标为RMSE。(10分) 4. 用训练数据训练最小二乘线性回归模型(20分)、岭回归模型、Lasso模型,其中岭回归模型(30分)和Lasso模型(30分),注意岭回归模型和Lasso模型的正则超参数调优。 5. 比较用上述三种模型得到的各特征的系数,以及各模型在测试集上的性能。并简单说明原因。(10分)
最近更新: 6年多前