登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib
Python
全部语言 Java JavaScript HTML CSS Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R Docker QML Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme 易语言 Julia OCaml Puppet YAML AutoHotkey Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
5055865 hebut ai admin 1588123129

肖洒/spider_allqj

3
千家房地产网，二手房爬虫程序。
Python
Web爬虫
|
2年多前
1535456 hongwing 1691033055

HenryHE/WEIBO_DataAnalysis

3
基于Flask框架Python爬取微博数据，进行数据处理，可视化呈现。
Python
Web爬虫
|
6年多前
9419 zhupf 1686900970

ccc1/WebSpider

3
单文件强大爬虫，自带广告过滤，禁止外链，下载Zip，等自定义附件功能
Python
Web爬虫
|
6年多前
1062644 null 445 0302 1578939386

猿来是这样/baike_spider

3
这是一个入门的通过BeautifulSoup4框架编写的爬取”Python”百科词条的1000个页面及数据的项目，适合刚入门的爬虫爱好者练手
Python
Web爬虫
|
6年多前
1472327 shaozhupeng 1578952312

szper/SpiderRobot

3
里边包含微博爬虫、头条街拍的爬虫，头条爬虫会根据关键字爬取街拍中妹子的照片
Python
Web爬虫
|
4年多前
546459 albert chen 1578927238

Albert1_Chen/car_forum

3
spider for ask.bitauto.com
Python
Web爬虫
|
7年多前
365569 jiangwl 1578921635

JIANGWL/BaiduImageSpider

3
百度图片爬虫，基于python3
Python
Web爬虫
|
接近7年前
2651353 cczxsong 1578972699

cczxsong/分布式爬虫及线性回归模拟

2
基于Scrapy爬虫框架搭建分布式爬虫，爬取房天下西安地区的租房信息，存入数据库。并对取得的数据线性回归模拟。
项目
Spider
Python
Web爬虫
|
接近4年前

武鹏飞/spiders

2
基于scrapy框架的爬虫项目
Python
Web爬虫
|
6年前

yibandfeng/pandatv_danmu_spider

2
熊猫TV弹幕爬虫，爬虫结果存入kafka
Python
Web爬虫
|
接近7年前
1596251 xinxin93666 1578955520

温良恭俭让/爬虫_百度贴吧

2
爬取百度贴吧指定的信息并保存；
Python
Web爬虫
|
5年多前
5065992 qicreate 1578979511

乐耀智数/auto_download_link

1
自动抓取网页中的下载地址或者种子连接保存
Python
Web爬虫
|
接近5年前
1560263 peacexie 1613534436

PeaceXie/Wepy

1
Python开源 | 生活是艰难的：甚至需要爬…… 但是，微爬(Wepy)，却尽量让您轻松愉快的爬知识，爬价值，爬乐趣！
Python
Web爬虫
|
1年多前
1215849 wildidea 1610771529

makeit.vip/miitvip-official-regions

1
根据官方权威站点，获取省 / 市 / 县 / 镇 / 街道等全面的地域数据，采用 Python 抓取，但西祠代理似乎不能使用了，可尝试修改其它代理进行处理。
Python
Web爬虫
|
3年前
2215123 c li 1578968870

Ah_伟/TuchongPy

0
图虫爬虫
Python
Web爬虫
|
5年多前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.2K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
fffonion/JJGet
30
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
小码编程/scrapy_zhaopin
229
基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化
resolvewang/WeiboSpider
355
分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身，正在快速迭代。如果觉得有帮助，不妨到github上给我点个star，osc上可能不会再继续更新了
AJay13/ECommerceCrawlers
4.2K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
shengqiangzhang/examples-of-web-crawlers
472
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
hechao/DoubanSpider
3
豆瓣电影Python爬虫
沈阳程序员/Scrapy-Python
123
Scrapy：网站爬虫框架库抓取
小码编程/scrapy_zhaopin
229
基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化
fffonion/JJGet
30
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
惊鸿一回车/WeChat_Article
162
爬取微信公众号文章
isyuu/wxhub
343
微信公众号文章-无限制抓取
resolvewang/WeiboSpider
355
分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身，正在快速迭代。如果觉得有帮助，不妨到github上给我点个star，osc上可能不会再继续更新了
DTC2/ECommerceCrawlers
433
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、闲鱼、阿里任务、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家️️️
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部