登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
Apache-2.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab Rust 其他 PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk Delphi VHDL M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Puppet Pawn Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Coq Haxe Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
519952 zxhm 1587621259

诗酒年华/PageSpider

13
一个简单的页面爬虫工具，适用爬取不太复杂的网页中的图片和文本。
C#
Web爬虫
|
6年前
59466 lizhengxian 1578915844

李争献/SpiderByScala

13
用Scala写的小爬虫，用到Java里的HttpClient，Jsoup等包，由于Scala基于Java，且作为Spark的源语言，以后可以考虑用集群来跑
Scala
Web爬虫
|
9年多前

lg0322/FilmSpider

10
基于java的爬虫系统，可爬取国内主流视频网站的视频数据，目前支持爬取豆瓣、猫眼、IMDB、百度百科、优酷、电视猫数据。
Java
Web爬虫
|
3年多前
1607679 ainilili 1578955807

nico/domain-crawling

7
全自动爬取域名信息脚本，易扩展，注释全~
Python
Web爬虫
|
6年多前
493224 liinux 1596087533

liinux/crawler4j

7
crawler4j is an open source web crawler for Java which provides a simple interface for crawling the Web. Using it, you can setup a multi-threaded web crawler in few minutes.
Java
Web爬虫
|
8年多前

风逝同学/videoCollector

7
多平台聚合视频采集器，可根据自定义条件采集全网视频
Go
Web爬虫
|
4年多前
493224 liinux 1596087533

liinux/DataGether

6
数据采集程序,支持常见新闻网站数据，Twitter等社交网站数据采集，社交好友关系数据Neo4j图数据库展示等基础功能;
Java
Web爬虫
|
接近6年前

bronson/cetty

6
一个轻量级的基于事件分发的爬虫框架
Java
Web爬虫
|
3年前
1296212 changleibox 1578948340

Mocha/TiebaCrawler

4
Python之scrapy爬虫实现百度贴吧的自动签到和自动发帖、自动回帖
Python
Web爬虫
|
5年多前
1646371 tyoui 1578956781

Jtyoui/crawler

3
这是一个简单容易上手的Java单机版爬虫、上手只需要1分钟
Java
Web爬虫
|
5年多前
22570 chenrh 1652061357

红杉/node-joke

2
偿试使用node做一些事情，本项目主要有抓取互联网笑话网站内容
Nodejs
JavaScript
Web爬虫
|
接近10年前
5065992 qicreate 1578979511

乐耀智数/auto_download_link

1
自动抓取网页中的下载地址或者种子连接保存
Python
Web爬虫
|
5年多前
514337 xank 1578926232

xank/disney-etl

0
迪士尼数据清洗服务，用于从迪士尼实时排队信息统计乐园整体情况
NodeJS
Web爬虫
|
接近7年前
7979379 daileyet 1598444172

daileyet/goldeneye

0
Precious metal price spider and provider service to look up
Java
Web爬虫
|
4年前

irisroyalty/zeus

0
zeus采集器是一款免费的数据采集发布爬虫软件
Java
Web爬虫
|
4年多前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
coderhxl/x-crawl
11
x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。使爬虫工作变得更加高效、智能和便捷。
lifankohome/music-spider
227
酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐
Vanishi/DS
316
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
zorlan/蓝天采集器
843
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
coderhxl/x-crawl
11
x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。使爬虫工作变得更加高效、智能和便捷。
Vanishi/DS
316
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
达达软件/AndroidCrawler
54
Android上的一款采集框架, 采用Retrofit + OkHttp + Rxjava + Eventbus + Greendao + Jsoup + Meterial Design, 参考webmagic爬虫框架并用rxjava制作了自定义的采集框架。
andeyalee/surfer
71
surfer [high level concurrency downloader] 是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核，支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。
kanasimi/work_crawler
74
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
朱平齐/RuiJi.Net
134
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
luosl/webmagicx
186
webmagicx一款基于webmagic的可配置化的爬虫框架
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部