Web爬虫 - Web爬虫 - 热门项目

登录注册

开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们

开源企业版高校版私有云 Gitee AI ^NEW

查看详情

登录注册

9月25日晚8点，Gitee 吐槽大会正式开幕，吐槽火力全开，Gitee 接招不慌！

全部推荐项目

前沿技术

智能硬件	IOT/物联网/边缘计算
车载应用	智能家居
自动驾驶/无人机	机器人
5G/通讯	低代码
科研论文	量子计算
芯片开发	Web 3.0
隐私计算	云原生

OpenHarmony

按钮(Button)	文本框(EditText)	布局(Layout)	图形图像(Image)
进度条(Progress)	菜单(Menu)	弹窗(Popup)	选择器(Selector)
文本组件(TextView)	列表组件(ListView)	加载器(Loading)	提醒(Notification)
视图切换(View Transition)	滑杆(Slider)	图表(Chart)	绘图组件(Draw)
计数器(Counter)	动画(Animate)	验证码(Captcha)	多媒体(Multimedia)
条形码(Barcode)	高级UI组件	地图(Map)	OpenHarmony 游戏(Gaming)
网络(Networking)	通讯(Communication)	支付(Payment)	数据库(Database)
硬件驱动(Drivers)	OpenHarmony 教程指南	OpenHarmony工具集	OpenHarmony 应用
华为移动服务(HMS)	权限(Permissions)	工具包(Toolkit)	底层组件
手势控制(Gesture)

程序开发

中英文分词	支付开发包	安全开发相关	常用工具包
Excel工具包	条形码/二维码	模板引擎	图形UI组件/框架
网络开发包	语音处理	网络工具	网络服务
数据挖掘	作业/任务调度	编程语言/脚本语言	缓存组件
Markdown工具包	搜索引擎	微服务	工作流
图表组件	权限管理	报表工具	代码生成器
IoC/AOP框架	图像处理	规则引擎	JSON工具
日志工具包	Spring Boot 扩展	验证码	算法/数学计算
Node 扩展	流程引擎/工具	动画开发	移动通信

人工智能

AI-人工智能 VR/AR

机器学习/深度学习计算机视觉/人脸识别

自然语言处理大模型
区块链

数字货币 NFT
微信开发

微信开发包微信小程序/小游戏

微信应用微信小游戏
企业应用

任务/项目管理企业应用系统

BI-商业智能金融/股票证券

GIS/地图/导航/定位工程软件
建站系统

CMS建站系统新零售/网店/商城

BBS论坛/问答博客系统

问卷调查/表单系统 SNS社交系统

学校/教学管理相册/画廊/照片

RSS/Atom工具
应用工具

文件管理工具多媒体

文本编辑 IM即时通讯/聊天

应用软件 RPA-机器人过程自动化

WEB应用开发

Web开发框架	jQuery插件
WebUI组件/框架	JavaScript工具包
RESTful项目	后台管理框架
网站主题	Vue扩展组件
Web爬虫	OAuth/单点登录/统一认证
Angular扩展	Bootstrap扩展插件
React 组件	RPC开发框架
API 网关/接口管理	短网址
layui 组件

DevOps/运维/网管

网管工具监控系统

DevOps工具

手机/移动开发

Android组件/项目	iOS组件
移动App	支付宝小程序
百度小程序	PhoneGap/Cordova 插件
跨平台移动开发	快应用
TV/电视开发	uniapp 开源组件

开发工具

版本管理系统开发/调试

Wiki/文档工具编译/构建/部署

Maven 插件 Gulp 扩展

测试工具代码扫描分析

服务器应用

分布式服务/框架	消息服务器/消息队列
Docker相关	容器/虚拟机
Nginx扩展模块	大数据
云计算	一键安装包
OpenResty 扩展	系统性能优化
Serverless	分布式存储系统

数据库相关

数据库开发包数据库服务

数据库管理/监控
游戏/娱乐

游戏游戏开发

3D引擎
插件和扩展

Chrome扩展 WordPress 扩展

Eclipse插件 IDEA 插件

Firefox扩展 Safari 插件

Visual Studio Code 扩展 Jenkins 插件

其他开源

高仿项目	图书/手册/教程
ACM/OJ 项目	操作系统
教学管理	教程配套代码
RISC-V 开发	生物/医疗/健康
2020公益黑客马拉松	新冠病毒相关开源

WEB应用开发

Web爬虫

Apache-2.0

全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib

全部语言

Java JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp SQL Smalltalk Delphi VHDL TeX/LaTeX M ASP Visual Basic Clojure Common Lisp Awk Haskell LiveScript Scheme Elixir Julia 易语言 OCaml YAML Puppet AutoHotkey Pawn Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Haxe Coq Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle

Stars

Stars 最新推荐最近更新

小码编程/scrapy_zhaopin

237

基于Python和Echarts职位画像系统，使用Scrapy抓取职位招聘数据，使用Django+echarts完成数据可视化

Python

Web爬虫

3年多前

lifankohome/music-spider

227

酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐

PHP

多媒体 Web爬虫

接近3年前

code4everything/visual-spider

219

欢迎体验我们全新的桌面端效率工具RunFlow，https://myrest.top/myflow

Java

Web爬虫

7个月前

CrawlScript/WebCollector

214

A java crawler for infomation collection.

Java

Web爬虫

6年前

Kiddyu/Beanbun

201

Beanbun 是用 PHP 编写的多进程网络爬虫框架，支持分布式，具有良好的开放性、高可扩展性，基于 Workerman。

PHP

Web爬虫

12个月前

MountFuji/easycrawl

187

基于webmagic的通用爬虫抓取应用，核心在于简单易用，搭建好后轻松抓取数据

Java

Web爬虫

2年多前

luosl/webmagicx

184

webmagicx一款基于webmagic的可配置化的爬虫框架

Scala

Web爬虫

6年多前

kingkoo/NETSpider

181

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。

Web爬虫

接近3年前

最爱吃小鱼/WechatSpider

176

抓取微信公众号全部文章，采用AnyProxy+Javascript+Java实现

Java

Web爬虫

6年多前

Ticsmyc/2019nCoV-Crawler

176

定时爬取丁香园冠状病毒新型肺炎疫情实时数据，并持久化到MySQL数据库做数据比对，当数据发生变化时向用户推送邮件通知

Java

Web爬虫新冠病毒相关开源

2年多前

乾坤盒子/MongooCrawler

174

一款低入侵分布式爬虫框架，仅仅依赖少量第三方包，具有多进程多线程，集成反爬、验证码破解方案，自由定制，cookie自动管理，多数据源支持（database，nosql，es），客户端-服务端分离（充分利用ip）集群支持等特性）

Java

Web爬虫

接近4年前

fotomxq/collmz

159

使用golang实现，采集各种网站妹子图库和本地类似数据的程序，浏览器可访问采集器和相关数据，可部署到服务器或本地直接运行。

Web爬虫

接近8年前

1 2 3 4 5

...

14 15

今日热门

本周热门

AJay13/ECommerceCrawlers

4.6K

实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:

鬼画符/templatespider

3.1K

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

Vanishi/DS

311

一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。

tikazyq/crawlab

787

Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架

kanasimi/work_crawler

小说漫画下载工具:腾讯漫画大角虫漫画有妖气知音漫客咪咕 SF漫画哦漫画看漫画漫画柜漫画160 汗汗酷漫動漫伊甸園网易漫画快看漫画微博动漫 733动漫网大古漫画网漫画DB 動漫狂卡推漫画动漫之家动漫屋土豪漫画古风漫画网 36漫画网亲亲漫画网 360漫画乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミックサイコミ;アルファポリスカクヨムハーメルン小説家になろう卡提諾論壇起点中文网八一中文网顶点小说落霞小说网努努书坊笔趣阁→epub. Download online novels, comics. 小說漫畫下載

AJay13/ECommerceCrawlers

4.6K

鬼画符/templatespider

3.1K

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

Vanishi/DS

311

coderhxl/x-crawl

x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。使爬虫工作变得更加高效、智能和便捷。

bilibala/YiSpider

311

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫

zorlan/蓝天采集器

829

蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

kanasimi/work_crawler

Cherokee/neocrawler

576

牛咖-neocrawler nodejs 的爬虫系统。特点：支持web界面方式的摘取规则配置（css selector & regex）；包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取；用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽； nodejs none-block 异步环境下的抓取性能比较高；中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量；支持多种抓取实例并存，定制摘取引擎和存储方式。