Sign in
Sign up
Explore
Enterprise
Education
Search
Help
Terms of use
About Us
Gitee 十周年生日快乐!
快来 get 同款生日帽吧,还有 iPhone 14 等你来抽~
立即查看
Explore
Enterprise
Education
Gitee Premium
Blog
I know
View Details
Sign in
Sign up
Categories
New Tech
Hardware
IoT/Edge Computing
Car Application
Smart Home
Autopilot
Robots
5G
低代码
科研论文
quantum
chips
Web 3.0
Privacy Computing
Cloud Native
OpenHarmony
HarmonyOS Button
HarmonyOS EditText
HarmonyOS Layout
HarmonyOS Image
HarmonyOS Progress
HarmonyOS Menu
HarmonyOS Popup
HarmonyOS Selector
HarmonyOS TextView
HarmonyOS ListView
HarmonyOS Loading
HarmonyOS Notification
HarmonyOS View Transition
HarmonyOS Slider
HarmonyOS Chart
HarmonyOS Draw
HarmonyOS Counter
HarmonyOS Animate
HarmonyOS Captcha
HarmonyOS Multimedia
HarmonyOS Barcode
HarmonyOS Advanced
HarmonyOS Map
OpenHarmony Games
HarmonyOS Networking
HarmonyOS Communication
HarmonyOS Payment
HarmonyOS Database
HarmonyOS Drivers
OpenHarmony Guide
OpenHarmony DevTools
OpenHarmony App
HMS
HarmonyOS Permission
HarmonyOS Toolkit
OpenHarmony Components
Gesture
Development Lib
Chinese/English Segmenter
Payment Dev
Security Dev
Common Toolkit
Excel Toolkit
Barcode/QRCode
Template Engine
Desktop UI
Network Development Package
Audio Process
Network Tool
Network Service
Data Mining
Job/Task Scheduling
Programming Language/Scripting Language
Cache
Markdown Tools
Search Engine
Microservice
Workflow
Chart/Diagram Component
Authority Management
Reporting Tool
Code Generator
IoC/AOP Framework
Image Library
Rule Engine
JSON Toolkit
Log Toolkit
Spring Boot Extension
Verification Code
Algorithm/Mathematical Calculation
Node Extension
Process Engine
Animation Development
3G/4G/5G
AI/ML
Artificial Intelligence
VR/AR
Machine Learning/Deep Learning
Computer Vision/Face Recognition
Natural Language Processing
LLM
Blockchain
bitcoin
NFT
Wechat Projects
Wechat Development Package
WeChat Applet/Game
WeChat Application
WeChat Game
Enterprise App
Task/Project Management
Enterprise Application System
Business Intelligence
Financial/Stock Securities
GIS/Map/Navigation/Positioning
Web System
Content Management System
New-Sale/E-Shop
BBS
Blog
Questionnaire
SNS
Teaching Managment
Album/Gallery/Picture
RSS/Atom Tool
Application
File Management System
Multimedia
Text Editor
Instant Messaging
Application Software
RPA-机器人过程自动化
Web Development
Web Framework
jQuery Plugin
UI Framework
JavaScript Toolkit
RESTful Projects
Backend Management
Website Theme
Vue.js Components
Web Sipder
OAuth/SSO
Angular Plugin
Bootstrap Plugin
React Compnent
RPC Development Framework
API Gateway
短网址
layui-components
DevOps/Network
Network Management Tool
System Monitor
DevOps
Mobile Dev
Android Component/ Project
iOS Component
Mobile App
Alipay Applet
Baidu Applet
PhoneGap/Cordova Plugin
Cross-platform Mobile Development
QuickApp
TV Devel
uniapp components
Development Tools
Version Management System
Dev/Debug
Wiki/Document
Compile/Build/Deploy
Maven Plugin
Gulp Extension
Testing Tool
Code Scan
Server Development
Distributed Service/Framework
Message Server/Message Queue
Docker
Container/Virtual Machine
Nginx Module
Big Data
Cloud Computing
One-click Installation Package
OpenResty Extension
系统性能优化
Serverless
storage
Database Related
DB Development Package
Database Service
Database Management/Monitor
Game/Recreation
Game
Game Development
3D Engine
Plugins/Extension
Chrome Extension
Wordpress Plugin
Eclipse Plugin
IDEA Plugin
Firefox Extension
Safari Extension
Visual Studio Code Plugin
Jenkins Plugins
Other
Simulation Project
Handbook/Manual/Tutorial
ACM/OJ Project
Operation System
Teaching Managment
Tutorial Code
RISC-V Development
Bio/Medical
2020公益黑客马拉松
新冠病毒相关开源
Web Development
/
Web Sipder
Licenses
MulanPSL-2.0
0BSD
AFL-3.0
AGPL-3.0
Apache-2.0
Artistic-2.0
BSD-2-Clause
BSD-3-Clause
BSD-3-Clause-Clear
BSL-1.0
CC-BY-4.0
CC-BY-SA-4.0
CC0-1.0
ECL-2.0
EPL-1.0
EPL-2.0
EUPL-1.1
EUPL-1.2
GPL-2.0
GPL-3.0
ISC
LGPL-2.1
LGPL-3.0
LPPL-1.3c
MIT
MPL-2.0
MS-PL
MS-RL
MulanPSL-1.0
MulanPubL-1.0
MulanPubL-2.0
NCSA
OFL-1.1
OSL-3.0
PostgreSQL
UPL-1.0
Unlicense
WTFPL
Zlib
Java
All Languages
JavaScript
HTML
CSS
Python
C
Shell
C++
PHP
C#
TypeScript
Go
Objective-C
Android
Kotlin
Ruby
Assembly
Swift
NodeJS
Dart
Lua
其他
Matlab
Perl
HTML/CSS
微信
PowerShell
Rust
Scala
Groovy
C/C++
XSLT
Verilog
R
Docker
Pascal
QML
FORTRAN
Erlang
CoffeeScript
ActionScript
SQL
Smalltalk
Delphi
ASP
Emacs Lisp
TeX/LaTeX
VHDL
Visual Basic
M
Clojure
Common Lisp
易语言
LiveScript
Awk
Elixir
Julia
Scheme
Haskell
AutoHotkey
XML
Arduino
YAML
Ada
Pawn
VimL
OCaml
D
Standard ML
Logos
汇编
Prolog
ColdFusion
Haxe
Puppet
Vala
Crystal
Scilab
Racket
Coq
Lisp
Slash
Eiffel
DOT
eC
Zephir
Nemerle
Stars
Stars
Recommend
Last updated
ssssssss-team/spider-flow
GVP
6.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
Java
Web Sipder
|
over 1 year ago
黄亿华/webmagic
GVP
4.5K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
Java
Web Sipder
|
11 months ago
user_117/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Java
Web Sipder
|
3 months ago
鬼画符/templatespider
2.5K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
Java
Web Sipder
|
2 months ago
xtuhcy/Gecco
2.1K
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
Java
Web Sipder
|
almost 3 years ago
user_117/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
Java
Web Sipder
|
3 months ago
代码神童/YayCrawler
1.2K
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
Java
Web Sipder
|
over 4 years ago
易水风萧/wind-bell
592
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
开源
Java
Web Sipder
|
over 1 year ago
liinux/ghost-login
531
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
Java
Web Sipder
|
over 3 years ago
许雪里/xxl-crawler
415
一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性;
Java
Web Sipder
|
8 months ago
linzhaoquan/xx小说阅读网站
370
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
Java
Web Sipder
|
2 months ago
cloudskyme/zongtui-webcrawler
364
基于hadoop思维的分布式网络爬虫。
Java
Web Sipder
|
almost 7 years ago
wycm/zhihu-crawler
288
zhihu-crawler是一个基于Java的爬虫实战项目,主要功能是抓取知乎用户的基本资料。
Java
Web Sipder
|
over 4 years ago
javacoo/CowSwing
266
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
Java
Web Sipder
|
over 2 years ago
virjar/vscrawler
228
适合抓取封堵的爬虫框架
Java
Web Sipder
|
over 4 years ago
1
2
3
...
5
6
Trending Today
Weekly
ssssssss-team/spider-flow
6.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
linzhaoquan/xx小说阅读网站
370
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
鬼画符/templatespider
2.5K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
易水风萧/wind-bell
592
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
user_117/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
黄亿华/webmagic
4.5K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
ssssssss-team/spider-flow
6.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
鬼画符/templatespider
2.5K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
linzhaoquan/xx小说阅读网站
370
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
黄亿华/webmagic
4.5K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
易水风萧/wind-bell
592
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
taishan/reptile
93
爬虫项目,微信公众号文章爬虫,网站文章爬虫,群发邮件系统
user_117/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
user_117/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Going to Help Center
Search
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
Back to the top