1 Star 1 Fork 1

明明就不简单 / scrapy-ipproxy

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

项目简介

基于python3的scrapy框架开发的一个代理ip池项目,定时爬取免费的代理ip,ip的数量在100到600个之间

环境

python的版本是 python3.6, python需要安装的库包括 scrapy pymongo selenium(selenium本人用的是Firefox需要geckodriver) lxml requests threadpool 等

运行项目需要配置 IpProxyCrawler/db/MongoConnect.py 中mongodb的连接配置

IpProxyCrawler/utils/EmailUtils.py 中邮箱的配置


运行 IpProxyCrawler/start.py 文件 启动任务
author shaozeming
qq 1160809039

空文件

简介

基于python3的爬虫框架scrapy写的一个代理ip池项目 展开 收起
Python
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/shaozeming/scrapy-ipproxy.git
git@gitee.com:shaozeming/scrapy-ipproxy.git
shaozeming
scrapy-ipproxy
scrapy-ipproxy
master

搜索帮助