Sign in
Sign up
Explore
Enterprise
Education
Search
Help
Terms of use
About Us
Explore
Enterprise
Education
Gitee Premium
Blog
I know
View Details
Sign in
Sign up
Categories
New Tech
Hardware
IoT/Edge Computing
Car Application
Smart Home
Autopilot
Robots
5G
低代码
科研论文
quantum
chips
Web 3.0
Privacy Computing
Cloud Native
OpenHarmony
HarmonyOS Button
HarmonyOS EditText
HarmonyOS Layout
HarmonyOS Image
HarmonyOS Progress
HarmonyOS Menu
HarmonyOS Popup
HarmonyOS Selector
HarmonyOS TextView
HarmonyOS ListView
HarmonyOS Loading
HarmonyOS Notification
HarmonyOS View Transition
HarmonyOS Slider
HarmonyOS Chart
HarmonyOS Draw
HarmonyOS Counter
HarmonyOS Animate
HarmonyOS Captcha
HarmonyOS Multimedia
HarmonyOS Barcode
HarmonyOS Advanced
HarmonyOS Map
OpenHarmony Games
HarmonyOS Networking
HarmonyOS Communication
HarmonyOS Payment
HarmonyOS Database
HarmonyOS Drivers
OpenHarmony Guide
OpenHarmony DevTools
OpenHarmony App
HMS
HarmonyOS Permission
HarmonyOS Toolkit
OpenHarmony Components
Gesture
Development Lib
Chinese/English Segmenter
Payment Dev
Security Dev
Common Toolkit
Excel Toolkit
Barcode/QRCode
Template Engine
Desktop UI
Network Development Package
Audio Process
Network Tool
Network Service
Data Mining
Job/Task Scheduling
Programming Language/Scripting Language
Cache
Markdown Tools
Search Engine
Microservice
Workflow
Chart/Diagram Component
Authority Management
Reporting Tool
Code Generator
IoC/AOP Framework
Image Library
Rule Engine
JSON Toolkit
Log Toolkit
Spring Boot Extension
Verification Code
Algorithm/Mathematical Calculation
Node Extension
Process Engine
Animation Development
3G/4G/5G
AI/ML
Artificial Intelligence
VR/AR
Machine Learning/Deep Learning
Computer Vision/Face Recognition
Natural Language Processing
LLM
Blockchain
bitcoin
NFT
Wechat Projects
Wechat Development Package
WeChat Applet/Game
WeChat Application
WeChat Game
Enterprise App
Task/Project Management
Enterprise Application System
Business Intelligence
Financial/Stock Securities
GIS/Map/Navigation/Positioning
Web System
Content Management System
New-Sale/E-Shop
BBS
Blog
Questionnaire
SNS
Teaching Managment
Album/Gallery/Picture
RSS/Atom Tool
Application
File Management System
Multimedia
Text Editor
Instant Messaging
Application Software
RPA-机器人过程自动化
Web Development
Web Framework
jQuery Plugin
UI Framework
JavaScript Toolkit
RESTful Projects
Backend Management
Website Theme
Vue.js Components
Web Sipder
OAuth/SSO
Angular Plugin
Bootstrap Plugin
React Compnent
RPC Development Framework
API Gateway
短网址
layui-components
DevOps/Network
Network Management Tool
System Monitor
DevOps
Mobile Dev
Android Component/ Project
iOS Component
Mobile App
Alipay Applet
Baidu Applet
PhoneGap/Cordova Plugin
Cross-platform Mobile Development
QuickApp
TV Devel
uniapp components
Development Tools
Version Management System
Dev/Debug
Wiki/Document
Compile/Build/Deploy
Maven Plugin
Gulp Extension
Testing Tool
Code Scan
Server Development
Distributed Service/Framework
Message Server/Message Queue
Docker
Container/Virtual Machine
Nginx Module
Big Data
Cloud Computing
One-click Installation Package
OpenResty Extension
系统性能优化
Serverless
storage
Database Related
DB Development Package
Database Service
Database Management/Monitor
Game/Recreation
Game
Game Development
3D Engine
Plugins/Extension
Chrome Extension
Wordpress Plugin
Eclipse Plugin
IDEA Plugin
Firefox Extension
Safari Extension
Visual Studio Code Plugin
Jenkins Plugins
Other
Simulation Project
Handbook/Manual/Tutorial
ACM/OJ Project
Operation System
Teaching Managment
Tutorial Code
RISC-V Development
Bio/Medical
2020公益黑客马拉松
新冠病毒相关开源
Web Development
/
Web Sipder
Licenses
MulanPSL-2.0
0BSD
AFL-3.0
AGPL-3.0
Apache-2.0
Artistic-2.0
BSD-2-Clause
BSD-3-Clause
BSD-3-Clause-Clear
BSL-1.0
CC-BY-4.0
CC-BY-SA-4.0
CC0-1.0
ECL-2.0
EPL-1.0
EPL-2.0
EUPL-1.1
EUPL-1.2
GPL-2.0
GPL-3.0
ISC
LGPL-2.1
LGPL-3.0
LPPL-1.3c
MIT
MPL-2.0
MS-PL
MS-RL
MulanPSL-1.0
MulanPubL-1.0
MulanPubL-2.0
NCSA
OFL-1.1
OSL-3.0
PostgreSQL
UPL-1.0
Unlicense
WTFPL
Zlib
Java
All Languages
JavaScript
HTML
CSS
Python
Shell
C
C++
PHP
C#
TypeScript
Go
Objective-C
Android
Ruby
Kotlin
Assembly
Swift
NodeJS
Perl
Dart
Lua
Matlab
其他
Rust
PowerShell
HTML/CSS
微信
Scala
Groovy
C/C++
XSLT
Verilog
R
Docker
Pascal
QML
CoffeeScript
FORTRAN
Erlang
ActionScript
Emacs Lisp
Smalltalk
SQL
Delphi
TeX/LaTeX
ASP
VHDL
Visual Basic
Clojure
M
Common Lisp
Haskell
Awk
Elixir
LiveScript
Scheme
易语言
Julia
OCaml
Puppet
AutoHotkey
Ada
YAML
Pawn
D
Standard ML
XML
Arduino
Logos
VimL
Prolog
汇编
Haxe
ColdFusion
Vala
Crystal
Scilab
Racket
Coq
Lisp
Slash
Eiffel
eC
DOT
Zephir
Nemerle
Stars
Stars
Recommend
Last updated
ssssssss-team/spider-flow
GVP
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
Java
Web Sipder
|
2 years ago
黄亿华/webmagic
GVP
4.7K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
Java
Web Sipder
|
over 1 year ago
自风/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Java
Web Sipder
|
9 months ago
鬼画符/templatespider
2.7K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
Java
Web Sipder
|
2 months ago
xtuhcy/Gecco
2.1K
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
Java
Web Sipder
|
over 3 years ago
自风/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
Java
Web Sipder
|
1 month ago
代码神童/YayCrawler
1.3K
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
Java
Web Sipder
|
almost 5 years ago
易水风萧/wind-bell
607
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
开源
Java
Web Sipder
|
almost 2 years ago
liinux/ghost-login
538
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
Java
Web Sipder
|
4 years ago
linzhaoquan/xx小说阅读网站
464
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
Java
Web Sipder
|
3 months ago
许雪里/xxl-crawler
446
一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性;
Java
Web Sipder
|
1 year ago
cloudskyme/zongtui-webcrawler
366
基于hadoop思维的分布式网络爬虫。
Java
Web Sipder
|
over 7 years ago
wycm/zhihu-crawler
289
zhihu-crawler是一个基于Java的爬虫实战项目,主要功能是抓取知乎用户的基本资料。
Java
Web Sipder
|
almost 5 years ago
javacoo/CowSwing
274
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
Java
Web Sipder
|
4 months ago
virjar/vscrawler
233
适合抓取封堵的爬虫框架
Java
Web Sipder
|
almost 5 years ago
1
2
3
...
5
6
Trending Today
Weekly
黄亿华/webmagic
4.7K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
ssssssss-team/spider-flow
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
思通数科 StoneDT/Open-Spider
126
不懂数据采集技术,也可轻松采集海量数据!简单易上手,人人可用的数据采集工具!
鬼画符/templatespider
2.7K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
linzhaoquan/xx小说阅读网站
464
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
自风/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
自风/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
yoqu/小说爬虫
114
基于webmagic的一个小说爬虫项目
ssssssss-team/spider-flow
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
黄亿华/webmagic
4.7K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
鬼画符/templatespider
2.7K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
linzhaoquan/xx小说阅读网站
464
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!
思通数科 StoneDT/Open-Spider
126
不懂数据采集技术,也可轻松采集海量数据!简单易上手,人人可用的数据采集工具!
自风/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
自风/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
yoqu/小说爬虫
114
基于webmagic的一个小说爬虫项目
代码神童/YayCrawler
1.3K
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
Going to Help Center
Search
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
Back to the top