登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
Gitee AI
NEW
我知道了
查看详情
登录
注册
全部推荐项目
前沿技术
智能硬件
IOT/物联网/边缘计算
车载应用
智能家居
自动驾驶/无人机
机器人
5G/通讯
低代码
科研论文
量子计算
芯片开发
Web 3.0
隐私计算
云原生
OpenHarmony
按钮(Button)
文本框(EditText)
布局(Layout)
图形图像(Image)
进度条(Progress)
菜单(Menu)
弹窗(Popup)
选择器(Selector)
文本组件(TextView)
列表组件(ListView)
加载器(Loading)
提醒(Notification)
视图切换(View Transition)
滑杆(Slider)
图表(Chart)
绘图组件(Draw)
计数器(Counter)
动画(Animate)
验证码(Captcha)
多媒体(Multimedia)
条形码(Barcode)
高级UI组件
地图(Map)
OpenHarmony 游戏(Gaming)
网络(Networking)
通讯(Communication)
支付(Payment)
数据库(Database)
硬件驱动(Drivers)
OpenHarmony 教程指南
OpenHarmony工具集
OpenHarmony 应用
华为移动服务(HMS)
权限(Permissions)
工具包(Toolkit)
底层组件
手势控制(Gesture)
程序开发
中英文分词
支付开发包
安全开发相关
常用工具包
Excel工具包
条形码/二维码
模板引擎
图形UI组件/框架
网络开发包
语音处理
网络工具
网络服务
数据挖掘
作业/任务调度
编程语言/脚本语言
缓存组件
Markdown工具包
搜索引擎
微服务
工作流
图表组件
权限管理
报表工具
代码生成器
IoC/AOP框架
图像处理
规则引擎
JSON工具
日志工具包
Spring Boot 扩展
验证码
算法/数学计算
Node 扩展
流程引擎/工具
动画开发
移动通信
人工智能
AI-人工智能
VR/AR
机器学习/深度学习
计算机视觉/人脸识别
自然语言处理
大模型
区块链
数字货币
NFT
微信开发
微信开发包
微信小程序/小游戏
微信应用
微信小游戏
企业应用
任务/项目管理
企业应用系统
BI-商业智能
金融/股票证券
GIS/地图/导航/定位
工程软件
建站系统
CMS建站系统
新零售/网店/商城
BBS论坛/问答
博客系统
问卷调查/表单系统
SNS社交系统
学校/教学管理
相册/画廊/照片
RSS/Atom工具
应用工具
文件管理工具
多媒体
文本编辑
IM即时通讯/聊天
应用软件
RPA-机器人过程自动化
WEB应用开发
Web开发框架
jQuery插件
WebUI组件/框架
JavaScript工具包
RESTful项目
后台管理框架
网站主题
Vue扩展组件
Web爬虫
OAuth/单点登录/统一认证
Angular扩展
Bootstrap扩展插件
React 组件
RPC开发框架
API 网关/接口管理
短网址
layui 组件
DevOps/运维/网管
网管工具
监控系统
DevOps工具
手机/移动开发
Android组件/项目
iOS组件
移动App
支付宝小程序
百度小程序
PhoneGap/Cordova 插件
跨平台移动开发
快应用
TV/电视开发
uniapp 开源组件
开发工具
版本管理系统
开发/调试
Wiki/文档工具
编译/构建/部署
Maven 插件
Gulp 扩展
测试工具
代码扫描分析
服务器应用
分布式服务/框架
消息服务器/消息队列
Docker相关
容器/虚拟机
Nginx扩展模块
大数据
云计算
一键安装包
OpenResty 扩展
系统性能优化
Serverless
分布式存储系统
数据库相关
数据库开发包
数据库服务
数据库管理/监控
游戏/娱乐
游戏
游戏开发
3D引擎
插件和扩展
Chrome扩展
WordPress 扩展
Eclipse插件
IDEA 插件
Firefox扩展
Safari 插件
Visual Studio Code 扩展
Jenkins 插件
其他开源
高仿项目
图书/手册/教程
ACM/OJ 项目
操作系统
教学管理
教程配套代码
RISC-V 开发
生物/医疗/健康
2020公益黑客马拉松
新冠病毒相关开源
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0
0BSD
AFL-3.0
AGPL-3.0
Apache-2.0
Artistic-2.0
BSD-2-Clause
BSD-3-Clause
BSD-3-Clause-Clear
BSD-4-Clause
BSL-1.0
CC-BY-4.0
CC-BY-SA-4.0
CC0-1.0
CECILL-2.1
CERN-OHL-P-2.0
CERN-OHL-S-2.0
CERN-OHL-W-2.0
ECL-2.0
EPL-1.0
EPL-2.0
EUPL-1.1
EUPL-1.2
GFDL-1.3
GPL-2.0
GPL-3.0
ISC
LGPL-2.1
LGPL-3.0
LPPL-1.3c
MIT
MIT-0
MPL-2.0
MS-PL
MS-RL
MulanPSL-1.0
MulanPubL-1.0
MulanPubL-2.0
NCSA
ODbL-1.0
OFL-1.1
OSL-3.0
PostgreSQL
UPL-1.0
Unlicense
Vim
WTFPL
Zlib
全部语言
Java
JavaScript
HTML
CSS
Python
Shell
C
C++
PHP
TypeScript
C#
Go
Objective-C
Android
Kotlin
Ruby
Assembly
Swift
NodeJS
Perl
Dart
Lua
Matlab
其他
Rust
PowerShell
HTML/CSS
微信
Scala
Groovy
C/C++
XSLT
Verilog
R
QML
Docker
Pascal
CoffeeScript
FORTRAN
Erlang
ActionScript
Emacs Lisp
Smalltalk
SQL
Delphi
VHDL
TeX/LaTeX
ASP
M
Visual Basic
Clojure
Common Lisp
Haskell
Awk
LiveScript
Elixir
Scheme
Julia
易语言
OCaml
Puppet
AutoHotkey
YAML
Ada
Pawn
Standard ML
D
XML
Arduino
Logos
VimL
Prolog
汇编
Haxe
ColdFusion
Vala
Crystal
Coq
Scilab
Racket
Lisp
Slash
Eiffel
eC
DOT
Zephir
Nemerle
Stars
Stars
最新推荐
最近更新
CVTeam_CN/FaceSpider
144
目标识别爬虫
Java
Web爬虫
|
5年多前
烈冰/go_sexy
138
Go语言版本妹子图抓取爬虫,项目里用到很多go的语言特性。正所谓寄学习于娱乐,欣赏妹子的同时还可以学到东西,欢迎大家评鉴
Go
Web爬虫
|
5年多前
itlabers/CrawlerDemon
135
分布式爬虫 Crawler
Java
Web爬虫
|
7年多前
cnjack/novel-spider
133
曾经一度痴迷于看小说,小说给了我第二个世界,脱离于现实生活的世界。虽然因为看小说耽误了很多光阴,但是它也给我带来了很多的快乐,伴随主人公的开心而开心,伴随主人公的伤心而伤心。
Go
Web爬虫
|
接近4年前
taishan/微信文章爬虫 Reptile
131
爬虫项目,微信公众号文章爬虫,网站文章爬虫,群发邮件系统
微信公众号爬虫
Java
Web爬虫
|
5个月前
朱平齐/RuiJi.Net
131
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载,分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
Spider
C#
Web爬虫
|
6个月前
jimmy_JYue/jy-spider
128
惊讶网站的垂直爬取网页程序,提供UI来管理爬取的网站和爬取文章内容的规则。 通过jsoup来获取标题和内容,主要是通过选着器获取。
Java
Web爬虫
|
5年多前
沈阳程序员/Scrapy-Python
125
Scrapy:网站爬虫框架库抓取
Python
Web爬虫
|
4年多前
芦荟柚子茶/Csharp爬取音乐源码
121
基于.NET的音乐搜索与播放软件(编程语言:C#,爬取4个平台:酷我/网易云/酷狗/QQ) 基本思路: 1、模拟搜索:通过关键字,获取歌曲列表 2、获取歌曲关键信息(歌曲ID之类的唯一标识) 3、使用指定方法(某个url),根据歌曲ID获取歌曲播放地址 4、将歌曲下载到本地,实现下载或播放 限制:vip音乐大多没法爬取(酷我除外),而且为试听品质 代码内容相对较少,代码编写规范,个人认为是很好的入门project
C#
Web爬虫
|
接近3年前
calvinwilliams/simspider
116
C语言接口的网络爬虫函数库
C
Web爬虫
|
8年前
yoqu/小说爬虫
115
基于webmagic的一个小说爬虫项目
Java
Web爬虫
|
7年前
樊勇/jvppeteer
114
Java Headless 浏览器 抓取页面
Java
Web爬虫
|
接近3年前
Gwenson/Gwenson-robot
101
这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人
Java
Web爬虫
|
5年多前
xautlx/nutch-ajax
101
基于Apache Nutch和Solr以及Htmlunit, Selenium WebDriver等组件扩展,实现对于AJAX加载类型页面的完整页面内容爬取、解析、清洗、持久化、全文检索等处理
Java
搜索引擎
Web爬虫
|
6年前
西门吹雪/pikachu
87
去吧皮卡丘,为什么取个名字叫皮卡丘,大概是这样萌一些。小哥哥是很可爱的。然后本项目是个爬虫项目,使用时候就像派出小精灵一样,派出皮卡丘,就会为你抓回对应的数据。
Java
Web爬虫
|
4年前
1
2
3
4
5
6
...
14
15
今日热门
本周热门
AJay13/ECommerceCrawlers
4.4K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
3K
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
千异社区/J-crawler
19
🔥 官方推荐 🔥 java爬虫工具,4.0重构版本,让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单;内置持久化接口,轻松定义爬取记录。
Vanishi/DS
302
一个Qt开发的可以替代爬虫的网页数据采集软件,它最重要的特点就是,降低了采集网页数据的门槛,由至少必须掌握一门编程语言降低到只要会操作电脑即可。
ecitlm/Node-SpliderApi
541
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
tikazyq/crawlab
784
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
zorlan/蓝天采集器
813
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
AJay13/ECommerceCrawlers
4.4K
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ssssssss-team/spider-flow
7.7K
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
kanasimi/work_crawler
56
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
zorlan/蓝天采集器
813
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
coderhxl/x-crawl
5
x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。使爬虫工作变得更加高效、智能和便捷。
xiyuan0918/ppspider
14
web spider build with puppeteer
芦荟柚子茶/Csharp爬取音乐源码
121
基于.NET的音乐搜索与播放软件(编程语言:C#,爬取4个平台:酷我/网易云/酷狗/QQ) 基本思路: 1、模拟搜索:通过关键字,获取歌曲列表 2、获取歌曲关键信息(歌曲ID之类的唯一标识) 3、使用指定方法(某个url),根据歌曲ID获取歌曲播放地址 4、将歌曲下载到本地,实现下载或播放 限制:vip音乐大多没法爬取(酷我除外),而且为试听品质 代码内容相对较少,代码编写规范,个人认为是很好的入门project
cnjack/novel-spider
133
曾经一度痴迷于看小说,小说给了我第二个世界,脱离于现实生活的世界。虽然因为看小说耽误了很多光阴,但是它也给我带来了很多的快乐,伴随主人公的开心而开心,伴随主人公的伤心而伤心。
Vanishi/DS
302
一个Qt开发的可以替代爬虫的网页数据采集软件,它最重要的特点就是,降低了采集网页数据的门槛,由至少必须掌握一门编程语言降低到只要会操作电脑即可。
ecitlm/Node-SpliderApi
541
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
回到顶部