登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
MIT
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
Java
全部语言 JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab Rust 其他 PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk Delphi VHDL M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Puppet Pawn Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Coq Haxe Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
291351 ssssssss team 1589614030

ssssssss-team/spider-flow

GVP
7.9K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
Java
Web爬虫
|
接近3年前
666978 xtuhcy 1578930371

xtuhcy/Gecco

2.2K
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
Java
Web爬虫
|
4年多前
357525 zongtui 1578921330

cloudskyme/zongtui-webcrawler

368
基于hadoop思维的分布式网络爬虫。
Java
Web Sipder
|
over 8 years ago
2040377 code4everything 1578991454

code4everything/visual-spider

220
欢迎体验我们全新的桌面端效率工具RunFlow，https://myrest.top/myflow
Java
Web爬虫
|
9个月前

xwlcn/Dodder

55
一个支持集群部署的分布式 DHT 网络爬虫
Java
Web爬虫
|
5年前

BMHJQS/vw-crawler

9
自己的简易爬虫框架
Java
Web爬虫
|
4年前
498783 wkgcass 1578925763

wkgcass/Search

8
基于Jsoup的搜索引擎结果抓取.支持baidu/bing/sogou/360
Java
Web爬虫
|
8年多前
1181431 alisonyu 1578945336

alisonyu/Spider

5
一个简单高效的Java爬虫框架
Java
Web爬虫
|
6年多前
479915 kagura 1578925178

鹞之神乐/KCrawler

3
KCrawler-开源云爬虫 . https://github.com/KingFalse/KCrawler
Java
Web爬虫
|
接近6年前

小小懒羊羊/crawler

1
A simple and flexible web crawler framework for java. https://github.com/xbynet/crawler
Java
Web爬虫
|
7年多前
今日热门
本周热门
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
ssssssss-team/spider-flow
7.9K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
buaaqingyuan/CasperMagic
17
CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试，但Javascript不太容易执行数据持久化和数据分析，而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
taishan/微信文章爬虫 Reptile
149
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
javacoo/CowSwing
309
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
ssssssss-team/spider-flow
7.9K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
javacoo/CowSwing
309
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
taishan/微信文章爬虫 Reptile
149
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
MountFuji/easycrawl
191
基于webmagic的通用爬虫抓取应用，核心在于简单易用，搭建好后轻松抓取数据
buaaqingyuan/CasperMagic
17
CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试，但Javascript不太容易执行数据持久化和数据分析，而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。
许雪里/xxl-crawler
469
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
gitclebeg/nlp-spider-dynamic
47
nlp项目基础框架：爬虫，针对动态网页（JS）的专有爬虫
linzhaoquan/xx小说阅读网站
561
springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部