Sign in
Sign up
Explore
Enterprise
Education
Search
Help
Terms of use
About Us
Explore
Enterprise
Education
Gitee Premium
Blog
I know
View Details
Sign in
Sign up
Categories
New Tech
Hardware
IoT/Edge Computing
Car Application
Smart Home
Autopilot
Robots
5G
低代码
科研论文
quantum
chips
Web 3.0
Privacy Computing
Cloud Native
OpenHarmony
HarmonyOS Button
HarmonyOS EditText
HarmonyOS Layout
HarmonyOS Image
HarmonyOS Progress
HarmonyOS Menu
HarmonyOS Popup
HarmonyOS Selector
HarmonyOS TextView
HarmonyOS ListView
HarmonyOS Loading
HarmonyOS Notification
HarmonyOS View Transition
HarmonyOS Slider
HarmonyOS Chart
HarmonyOS Draw
HarmonyOS Counter
HarmonyOS Animate
HarmonyOS Captcha
HarmonyOS Multimedia
HarmonyOS Barcode
HarmonyOS Advanced
HarmonyOS Map
OpenHarmony Games
HarmonyOS Networking
HarmonyOS Communication
HarmonyOS Payment
HarmonyOS Database
HarmonyOS Drivers
OpenHarmony Guide
OpenHarmony DevTools
OpenHarmony App
HMS
HarmonyOS Permission
HarmonyOS Toolkit
OpenHarmony Components
Gesture
Development Lib
Chinese/English Segmenter
Payment Dev
Security Dev
Common Toolkit
Excel Toolkit
Barcode/QRCode
Template Engine
Desktop UI
Network Development Package
Audio Process
Network Tool
Network Service
Data Mining
Job/Task Scheduling
Programming Language/Scripting Language
Cache
Markdown Tools
Search Engine
Microservice
Workflow
Chart/Diagram Component
Authority Management
Reporting Tool
Code Generator
IoC/AOP Framework
Image Library
Rule Engine
JSON Toolkit
Log Toolkit
Spring Boot Extension
Verification Code
Algorithm/Mathematical Calculation
Node Extension
Process Engine
Animation Development
3G/4G/5G
AI/ML
Artificial Intelligence
VR/AR
Machine Learning/Deep Learning
Computer Vision/Face Recognition
Natural Language Processing
LLM
Blockchain
bitcoin
NFT
Wechat Projects
Wechat Development Package
WeChat Applet/Game
WeChat Application
WeChat Game
Enterprise App
Task/Project Management
Enterprise Application System
Business Intelligence
Financial/Stock Securities
GIS/Map/Navigation/Positioning
Web System
Content Management System
New-Sale/E-Shop
BBS
Blog
Questionnaire
SNS
Teaching Managment
Album/Gallery/Picture
RSS/Atom Tool
Application
File Management System
Multimedia
Text Editor
Instant Messaging
Application Software
RPA-机器人过程自动化
Web Development
Web Framework
jQuery Plugin
UI Framework
JavaScript Toolkit
RESTful Projects
Backend Management
Website Theme
Vue.js Components
Web Sipder
OAuth/SSO
Angular Plugin
Bootstrap Plugin
React Compnent
RPC Development Framework
API Gateway
短网址
layui-components
DevOps/Network
Network Management Tool
System Monitor
DevOps
Mobile Dev
Android Component/ Project
iOS Component
Mobile App
Alipay Applet
Baidu Applet
PhoneGap/Cordova Plugin
Cross-platform Mobile Development
QuickApp
TV Devel
uniapp components
Development Tools
Version Management System
Dev/Debug
Wiki/Document
Compile/Build/Deploy
Maven Plugin
Gulp Extension
Testing Tool
Code Scan
Server Development
Distributed Service/Framework
Message Server/Message Queue
Docker
Container/Virtual Machine
Nginx Module
Big Data
Cloud Computing
One-click Installation Package
OpenResty Extension
系统性能优化
Serverless
storage
Database Related
DB Development Package
Database Service
Database Management/Monitor
Game/Recreation
Game
Game Development
3D Engine
Plugins/Extension
Chrome Extension
Wordpress Plugin
Eclipse Plugin
IDEA Plugin
Firefox Extension
Safari Extension
Visual Studio Code Plugin
Jenkins Plugins
Other
Simulation Project
Handbook/Manual/Tutorial
ACM/OJ Project
Operation System
Teaching Managment
Tutorial Code
RISC-V Development
Bio/Medical
2020公益黑客马拉松
新冠病毒相关开源
Web Development
/
Web Sipder
Licenses
MulanPSL-2.0
0BSD
AFL-3.0
AGPL-3.0
Apache-2.0
Artistic-2.0
BSD-2-Clause
BSD-3-Clause
BSD-3-Clause-Clear
BSL-1.0
CC-BY-4.0
CC-BY-SA-4.0
CC0-1.0
ECL-2.0
EPL-1.0
EPL-2.0
EUPL-1.1
EUPL-1.2
GPL-2.0
GPL-3.0
ISC
LGPL-2.1
LGPL-3.0
LPPL-1.3c
MIT
MPL-2.0
MS-PL
MS-RL
MulanPSL-1.0
MulanPubL-1.0
MulanPubL-2.0
NCSA
OFL-1.1
OSL-3.0
PostgreSQL
UPL-1.0
Unlicense
WTFPL
Zlib
All Languages
Java
JavaScript
HTML
CSS
Python
Shell
C
C++
PHP
C#
TypeScript
Go
Objective-C
Android
Ruby
Kotlin
Assembly
Swift
NodeJS
Perl
Dart
Lua
Matlab
其他
Rust
PowerShell
HTML/CSS
微信
Scala
Groovy
C/C++
XSLT
Verilog
R
Docker
Pascal
QML
CoffeeScript
FORTRAN
Erlang
ActionScript
Emacs Lisp
Smalltalk
SQL
Delphi
TeX/LaTeX
ASP
VHDL
Visual Basic
Clojure
M
Common Lisp
Haskell
Awk
Elixir
LiveScript
Scheme
易语言
Julia
OCaml
Puppet
AutoHotkey
Ada
YAML
Pawn
D
Standard ML
XML
Arduino
Logos
VimL
Prolog
汇编
Haxe
ColdFusion
Vala
Crystal
Scilab
Racket
Coq
Lisp
Slash
Eiffel
eC
DOT
Zephir
Nemerle
Stars
Stars
Recommend
Last updated
ssssssss-team/spider-flow
GVP
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
Java
Web Sipder
|
almost 2 years ago
黄亿华/webmagic
GVP
4.6K
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
Java
Web Sipder
|
over 1 year ago
AJay13/ECommerceCrawlers
GVP
4K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
Python
Web Sipder
|
over 1 year ago
自风/Spiderman
3.4K
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Java
Web Sipder
|
9 months ago
鬼画符/templatespider
2.7K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
Java
Web Sipder
|
2 months ago
xtuhcy/Gecco
2.1K
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
Java
Web Sipder
|
over 3 years ago
自风/Spiderman2
2K
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
Java
Web Sipder
|
25 days ago
代码神童/YayCrawler
1.3K
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
Java
Web Sipder
|
almost 5 years ago
tikazyq/crawlab
768
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Go
Web Sipder
|
over 3 years ago
zorlan/蓝天采集器
757
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
PHP
Web Sipder
|
2 months ago
易水风萧/wind-bell
607
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
开源
Java
Web Sipder
|
almost 2 years ago
Cherokee/neocrawler
570
牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
NodeJS
Web Sipder
|
over 6 years ago
liinux/ghost-login
538
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
Java
Web Sipder
|
almost 4 years ago
ecitlm/Node-SpliderApi
515
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
NodeJS
Web Sipder
|
over 1 year ago
JIANGWL/ZhihuSpider
491
多线程知乎用户爬虫,基于python3
Python
Web Sipder
|
almost 6 years ago
1
2
3
...
14
15
Trending Today
Weekly
ssssssss-team/spider-flow
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
sevk/kk-irc-bot
26
分不出是真人还是ROBOT的IRCBOT。 当时刚学RUBY,写着玩的机器人。 项目分类应该是聊天工具,不是Web爬虫.
小码编程/scrapy_zhaopin
215
基于Python和Echarts职位画像系统,使用Scrapy抓取职位招聘数据,使用Django+echarts完成数据可视化
fffonion/JJGet
27
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
Jack.arain/tianya
32
使用boost.asio+qt实现的tianya小说阅读器,主要抓爬天涯各种网络小说,支持脱水,排序,下载等功能。 该项目也是一个学习asio编程,特定目标爬虫编程的好示范。
bilibala/YiSpider
300
一款分布式爬虫平台,帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则(模版),可使用模版快速定义爬虫,也可当作框架手动开发爬虫
zorlan/蓝天采集器
757
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
ecitlm/Node-SpliderApi
515
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
ssssssss-team/spider-flow
7.3K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
AJay13/ECommerceCrawlers
4K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
sevk/kk-irc-bot
26
分不出是真人还是ROBOT的IRCBOT。 当时刚学RUBY,写着玩的机器人。 项目分类应该是聊天工具,不是Web爬虫.
ecitlm/Node-SpliderApi
515
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
zorlan/蓝天采集器
757
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
fffonion/JJGet
27
晋江小说下载器 镜像自 https://github.com/fffonion/jjget
tikazyq/crawlab
768
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Jack.arain/tianya
32
使用boost.asio+qt实现的tianya小说阅读器,主要抓爬天涯各种网络小说,支持脱水,排序,下载等功能。 该项目也是一个学习asio编程,特定目标爬虫编程的好示范。
kanasimi/work_crawler
33
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
Going to Help Center
Search
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
Back to the top