1 Star 0 Fork 20

EJ-PYTHON-APP / py-scratch

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

py-scratch

下载项目->导入项目->运行项目

导入项目:下载项目后导入到pycharm中,然后需要下载requirements.txt中的包,如果发现pycharm没有自动下载包的话可以手动下载 ,先安装pip,然后在命令行中敲:pip install bs4 pymongo requests json。当然也可以用:pip install -r requirements.txt直接下载。

运行项目:在pycharm中直接右击scratch_flight_number.py然后点Run就可以,命令行下用 python scratch_flight_number.py

项目说明:项目是根据某个固定的url去爬取网页或json,然后使用bs4做解析。获取到了想要的数据之后和原来的数据作比较,判断原数 据中是否包含新数据,如果不包含则添加到新的数组中返回,返回后将新数据追加到文件中同时插入到mongodb中

注意事项: 1,随着时间的推移url可能会过期 2,第一次运行项目可能会等待时间较长 3,注意这里插入到数据库中的数据是每次爬取到的新数据,如果没有新数据则不会插入 4,对项目有疑问可在微信公众号中与我交流,微信公众号:裸睡的猪

空文件

简介

第一个python项目,使用requests抓取数据,Beautiful Soup(bs4)库处理数据,然后将数据存入mongodb 展开 收起
Python
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/ej-python-app/py-scratch.git
git@gitee.com:ej-python-app/py-scratch.git
ej-python-app
py-scratch
py-scratch
master

搜索帮助