Sign in
Sign up
Explore
Enterprise
Education
Search
Help
Terms of use
About Us
Explore
Enterprise
Education
Blog
Sign in
Sign up
Categories
Development Tools
Version Management System
Dev/Debug
Wiki/Document Took
Compile/Build/Deploy
Maven Plugin
IDEA Plugin
Gulp Extension
Testing Tool
Code Scan
Web Development
Web Framework
jQuery Plugin
UI Framework
JavaScript Toolkit
RESTful Projects
Backend Management
Website Theme
Vue.js Components
Web Sipder
OAuth/SSO
Angular Plguin
Bootstrap Plugin
React Compnent
RPC Development Framework
API Gateway
短网址
Mobile Development
Android Component/ Project
Mobile App
iOS Component
Alipay Applet
PhoneGap/Cordova Plugin
Cross-platform Mobile Development
Baidu Applet
QuickApp
harmony
TV Devel
Development Lib
Chinese/English Segmenter
Payment Dev
Security Dev
Common Toolkit
Excel Toolkit
Barcode/QRCode
Template Engine
Desktop UI Component/Framework
Network Development Package
Audio Process
Network Tool
Network Service
Data Mining
Job/Task Scheduling
Programming Language/Scripting Language
Cache Component
Markdown Tools
Search Engine
Microservice
Workflow
Chart/Diagram Component
Authority Management
Reporting Tool
Code Generator
IoC/AOP Framework
Image Library
Rule Engine
JSON Toolkit
Log Toolkit
Spring Boot Extension
Verification Code
Algorithm/Mathematical Calculation
Node Extension
Process Engine
Animation Development
3G/4G/5G
Web System
Content Management System
New-Sale/E-Shop
BBS
Blog
Questionnaire/Form System
SNS
Teaching Managment
Album/Gallery/Picture
RSS/Atom Tool
Enterprise App
Task/Project Management
Enterprise Application System
Business Intelligence
Financial/Stock Securities
GIS/Map/Navigation/Positioning
Server Development
Distributed Service/Framework
Message Server/Message Queue
Docker
Container/Virtual Machine
Nginx Module
Big Data
Cloud Computing
One-click Installation Package
OpenResty Extension
系统性能优化
Serverless
Application
File Management System
Multimedia
Text Editor
Instant Messaging
Application Software
Visual Studio Code Plugin
DevOps/Network
DevOps
Network Management Tool
System Monitor
Game/Recreation
Game
Game Development
3D Engine
Database Related
DB Development Package
Database Service
Database Management/Monitor
Plugins/Extension
Chrome Extension
Wordpress Plugin
Eclipse Plugin
Firefox Extension
Safari Extension
Jenkins Plugins
Other
Simulation Project
Handbook/Manual/Tutorial
ACM/OJ Project
Operation System
Tutorial Code
Teaching Managment
RISC-V Development
Bio/Medical
2020公益黑客马拉松
新冠病毒相关开源
AI/ML
Artificial Intelligence
VR/AR
Machine Learning/Deep Learning
Computer Vision/Face Recognition
Natural Language Processing
Blockchain
bitcoin
Wechat Projects
Wechat Development Package
WeChat Applet/Game
WeChat Application
WeChat Game
New Tech
Hardware
IoT/Edge Computing
Car Application
Smart Home
Autopilot
Robots
5G
低代码
Web Development
/
Web Sipder
Licenses
MulanPSL-2.0
0BSD
AFL-3.0
AGPL-3.0
Apache-2.0
Artistic-2.0
BSD-2-Clause
BSD-3-Clause
BSD-3-Clause-Clear
BSL-1.0
CC-BY-4.0
CC-BY-SA-4.0
CC0-1.0
ECL-2.0
EPL-1.0
EPL-2.0
EUPL-1.1
EUPL-1.2
GPL-2.0
GPL-3.0
ISC
LGPL-2.1
LGPL-3.0
LPPL-1.3c
MIT
MPL-2.0
MS-PL
MS-RL
MulanPSL-1.0
MulanPubL-1.0
NCSA
OFL-1.1
OSL-3.0
PostgreSQL
UPL-1.0
Unlicense
WTFPL
Zlib
All Languages
Java
JavaScript
PHP
Python
C#
Android
Objective-C
Go
C++
HTML
C
NodeJS
Swift
其他
TypeScript
微信
HTML/CSS
Ruby
Shell
Dart
CSS
C/C++
Kotlin
Docker
Lua
Scala
Matlab
Delphi
SQL
Rust
TeX/LaTeX
Visual Basic
Verilog
ASP
R
Groovy
ActionScript
Erlang
易语言
XML
VimL
Arduino
Perl
Assembly
FORTRAN
QML
PowerShell
Pascal
汇编
Clojure
Emacs Lisp
CoffeeScript
AutoHotkey
Julia
VHDL
Haskell
M
Elixir
Lisp
D
Scheme
XSLT
Common Lisp
Racket
Vala
Logos
OCaml
DOT
Coq
Haxe
Puppet
LiveScript
Smalltalk
Prolog
Nemerle
Eiffel
Standard ML
Ada
eC
Scilab
Crystal
Pawn
Awk
Slash
Zephir
ColdFusion
Recommend
Stars
Recommend
Last updated
樊勇/jvppeteer
Java
Web Sipder
Apache-2.0
60
Java Headless 浏览器 抓取页面
4 months ago
2 issues
g1879/DrissionPage
Python
Web Sipder
BSD-3-Clause
291
一个整合了selenium和requests_html的模块,封装了常用页面操作,可实现两种模式的无缝切换。兼顾selenium的易用性和requests的高性能,也可直接用于PO模式。
7 hours ago
v1.9.0
updated on
Feb 07
javacoo/CowSwing
Java
Web Sipder
Apache-2.0
202
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
5 months ago
2 issues
qclang/foot
Go
Web Sipder
MIT
165
foot是一个集足球数据采集器,简单分析的项目.AI足球球探为程序全自动处理,全程无人为参与干预足球分析足球预测程序.程序根据各大指数多维度数据,结合作者多年足球分析经验,精雕细琢,集天地之灵气,汲日月之精华,历时七七四十九天,经Bug九九八十一个,编码而成.有兴趣的朋友,可以关注一下公众号AI球探(微信号ai00268).
4 months ago
crawlab-team/crawlab
Go
Web Sipder
BSD-3-Clause
43
Distributed web crawler admin platform for spiders management regardless of languages and frameworks.
10 months ago
宇润/nCov-Crawler
PHP
Web Sipder
新冠病毒相关开源
MulanPSL-1.0
55
基于 Swoole + imi 框架的新型冠状病毒肺炎疫情实时动态爬虫抓取项目,可查看各省市趋势图:https://test.yurunsoft.com/ncov/
1 year ago
1 issue
Ticsmyc/2019nCoV-Crawler
Java
Web Sipder
新冠病毒相关开源
GPL-3.0
136
爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知
11 months ago
易水风萧/wind-bell
Java
Web Sipder
Apache-2.0
481
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
5 months ago
增加附带数据功能
updated on
Oct 09
1 issue
xwlcn/Dodder
Java
Web Sipder
MIT
50
一个支持集群部署的分布式 DHT 网络爬虫
over 1 year ago
AJay13/ECommerceCrawlers
GVP
Python
Web Sipder
MIT
1.7K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
4 days ago
2 issues
tikazyq/crawlab
Go
Web Sipder
BSD-3-Clause
514
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
7 months ago
3 issues
ssssssss-team/spider-flow
GVP
Java
Web Sipder
MIT
2.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
2 months ago
21 issues
lifankohome/music-spider
PHP
Multimedia
Web Sipder
MIT
182
酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐
3 months ago
(全新改版,焕新界面)- 橡皮音乐
updated on
Jul 19
惊鸿一回车/WeChat_Article
Python
Web Sipder
100
爬取微信公众号文章
over 1 year ago
takemefly/golddata-spider
Groovy
Web Sipder
Apache-2.0
69
1、规则简洁灵活易读易写 2、可反复采集数据而不产生重复 3、可同时将数据及数据关系采集融合 4、支持ajax 5、文档和培训视频齐全 。其核心代码从GoldData平台分离而来
almost 2 years ago
1
2
3
...
14
15
Trending Today
Weekly
AJay13/ECommerceCrawlers
1.7K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ssssssss-team/spider-flow
2.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
crawlab-team/crawlab
43
Distributed web crawler admin platform for spiders management regardless of languages and frameworks.
Cherokee/neocrawler
502
牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
zorlan/蓝天采集器
402
蓝天采集器是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是大数据、云时代网站数据自动化采集的最佳云端爬虫软件
AJay13/ECommerceCrawlers
1.7K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ssssssss-team/spider-flow
2.8K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
朱平齐/RuiJi.Net
97
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载,分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
takemefly/golddata-spider
69
1、规则简洁灵活易读易写 2、可反复采集数据而不产生重复 3、可同时将数据及数据关系采集融合 4、支持ajax 5、文档和培训视频齐全 。其核心代码从GoldData平台分离而来
crawlab-team/crawlab
43
Distributed web crawler admin platform for spiders management regardless of languages and frameworks.
ecitlm/Node-SpliderApi
325
基于nodejs 的爬虫 API接口项目,包括前端开发日报、知乎日报、前端top框架排行、妹纸福利、搞笑视频、各类视频新闻资讯 热点详情接口数据
xiaominger/StockCrawler
9
股票数据采集器
zorlan/蓝天采集器
402
蓝天采集器是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是大数据、云时代网站数据自动化采集的最佳云端爬虫软件
calvinwilliams/simspider
106
C语言接口的网络爬虫函数库
Going to Help Center
Search
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
See more results
Share to
Back to the top