Web爬虫 - Java - Web爬虫 - 开源软件

登录注册

开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们

开源企业版高校版私有云 Gitee AI ^NEW

查看详情

登录注册

武汉源创会回归，4月20日聊聊大模型

全部推荐项目

前沿技术

智能硬件	IOT/物联网/边缘计算
车载应用	智能家居
自动驾驶/无人机	机器人
5G/通讯	低代码
科研论文	量子计算
芯片开发	Web 3.0
隐私计算	云原生

OpenHarmony

按钮(Button)	文本框(EditText)	布局(Layout)	图形图像(Image)
进度条(Progress)	菜单(Menu)	弹窗(Popup)	选择器(Selector)
文本组件(TextView)	列表组件(ListView)	加载器(Loading)	提醒(Notification)
视图切换(View Transition)	滑杆(Slider)	图表(Chart)	绘图组件(Draw)
计数器(Counter)	动画(Animate)	验证码(Captcha)	多媒体(Multimedia)
条形码(Barcode)	高级UI组件	地图(Map)	OpenHarmony 游戏(Gaming)
网络(Networking)	通讯(Communication)	支付(Payment)	数据库(Database)
硬件驱动(Drivers)	OpenHarmony 教程指南	OpenHarmony工具集	OpenHarmony 应用
华为移动服务(HMS)	权限(Permissions)	工具包(Toolkit)	底层组件
手势控制(Gesture)

程序开发

中英文分词	支付开发包	安全开发相关	常用工具包
Excel工具包	条形码/二维码	模板引擎	桌面UI组件/框架
网络开发包	语音处理	网络工具	网络服务
数据挖掘	作业/任务调度	编程语言/脚本语言	缓存组件
Markdown工具包	搜索引擎	微服务	工作流
图表组件	权限管理	报表工具	代码生成器
IoC/AOP框架	图像处理	规则引擎	JSON工具
日志工具包	Spring Boot 扩展	验证码	算法/数学计算
Node 扩展	流程引擎/工具	动画开发	移动通信

人工智能

AI-人工智能 VR/AR

机器学习/深度学习计算机视觉/人脸识别

自然语言处理大模型
区块链

数字货币 NFT
微信开发

微信开发包微信小程序/小游戏

微信应用微信小游戏
企业应用

任务/项目管理企业应用系统

BI-商业智能金融/股票证券

GIS/地图/导航/定位
建站系统

CMS建站系统新零售/网店/商城

BBS论坛/问答博客系统

问卷调查/表单系统 SNS社交系统

学校/教学管理相册/画廊/照片

RSS/Atom工具
应用工具

文件管理工具多媒体

文本编辑 IM即时通讯/聊天

应用软件 RPA-机器人过程自动化

WEB应用开发

Web开发框架	jQuery插件
WebUI组件/框架	JavaScript工具包
RESTful项目	后台管理框架
网站主题	Vue扩展组件
Web爬虫	OAuth/单点登录/统一认证
Angular扩展	Bootstrap扩展插件
React 组件	RPC开发框架
API 网关/接口管理	短网址
layui 组件

DevOps/运维/网管

网管工具监控系统

DevOps工具

手机/移动开发

Android组件/项目	iOS组件
移动App	支付宝小程序
百度小程序	PhoneGap/Cordova 插件
跨平台移动开发	快应用
TV/电视开发	uniapp 开源组件

开发工具

版本管理系统开发/调试

Wiki/文档工具编译/构建/部署

Maven 插件 Gulp 扩展

测试工具代码扫描分析

服务器应用

分布式服务/框架	消息服务器/消息队列
Docker相关	容器/虚拟机
Nginx扩展模块	大数据
云计算	一键安装包
OpenResty 扩展	系统性能优化
Serverless	分布式存储系统

数据库相关

数据库开发包数据库服务

数据库管理/监控
游戏/娱乐

游戏游戏开发

3D引擎
插件和扩展

Chrome扩展 WordPress 扩展

Eclipse插件 IDEA 插件

Firefox扩展 Safari 插件

Visual Studio Code 扩展 Jenkins 插件

其他开源

高仿项目	图书/手册/教程
ACM/OJ 项目	操作系统
教学管理	教程配套代码
RISC-V 开发	生物/医疗/健康
2020公益黑客马拉松	新冠病毒相关开源

WEB应用开发

Web爬虫

开源许可

MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib

Java

全部语言 JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R Docker QML Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme 易语言 Julia OCaml Puppet YAML AutoHotkey Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle

Stars

Stars 最新推荐最近更新

wkgcass/Search

基于Jsoup的搜索引擎结果抓取.支持baidu/bing/sogou/360

Java

Web爬虫

接近8年前

BMHJQS/vw-crawler

自己的简易爬虫框架

Java

Web爬虫

3年多前

liinux/DataGether

数据采集程序,支持常见新闻网站数据，Twitter等社交网站数据采集，社交好友关系数据Neo4j图数据库展示等基础功能;

Java

Web爬虫

5年多前

liinux/crawler4j

crawler4j is an open source web crawler for Java which provides a simple interface for crawling the Web. Using it, you can setup a multi-threaded web crawler in few minutes.

Java

Web爬虫

7年多前

千与千寻/simple-spider

web网络爬虫，精简，快速上手；Jsoup实现，支持cssQuery语法，支持爬取数据到数据域(Bean对象)的动态和静态转化，支持IP代理，支持数据爬取和解析时监控,;完整示例：简单使用示例，小说爬取示例，IP代理池爬取示例；

Java

Web爬虫

3年多前

bronson/cetty

一个轻量级的基于事件分发的爬虫框架

Java

Web爬虫

2年多前

alisonyu/Spider

一个简单高效的Java爬虫框架

Java

Web爬虫

5年多前

黄小迎/huang-crawler

一个很有意思的小玩意儿~

Java

Web爬虫

5年多前

鹞之神乐/KCrawler

KCrawler-开源云爬虫 . https://github.com/KingFalse/KCrawler

Java

Web爬虫

5年多前

Jtyoui/crawler

这是一个简单容易上手的Java单机版爬虫、上手只需要1分钟

Java

Web爬虫

接近5年前

诠释这低调/s-sloud-train

2020年最新全各大（12306、携程、去哪儿）官网爬取/解析全路客运车站/车次、时刻表信息及数据实时同步

Java

Web爬虫

3年多前

小小懒羊羊/crawler

A simple and flexible web crawler framework for java. https://github.com/xbynet/crawler

Java

Web爬虫

接近7年前

bigloser/harvester

爬虫框架，希望实现多线程、分布式、可监控、能够登录爬取数据的爬虫

Java

Web爬虫

7年前

daileyet/goldeneye

Precious metal price spider and provider service to look up

Java

Web爬虫

3年多前

irisroyalty/zeus

zeus采集器是一款免费的数据采集发布爬虫软件

Java

Web爬虫

接近4年前

1 2 3 4 5 6

今日热门

本周热门

鬼画符/templatespider

2.8K

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

taishan/微信文章爬虫 Reptile

121

爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统

黄亿华/webmagic

4.8K

webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

ssssssss-team/spider-flow

7.6K

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

Gwenson/Gwenson-robot

100

这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人

思通数科 StoneDT/Open-Spider

180

不懂数据采集技术，也可轻松采集海量数据！简单易上手，人人可用的数据采集工具！

linzhaoquan/xx小说阅读网站

519

springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！

liinux/ghost-login

546

专门用来解决爬虫采集相关网站数据时模拟自动登录，验证码自动识别的问题；欢迎加入一起开发完善。

自风/Spiderman2

2.1K

二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）

xtuhcy/Gecco

2.1K

Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。

鬼画符/templatespider

2.8K

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

ssssssss-team/spider-flow

7.6K

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

黄亿华/webmagic

4.8K

webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

思通数科 StoneDT/Open-Spider

180

不懂数据采集技术，也可轻松采集海量数据！简单易上手，人人可用的数据采集工具！

自风/Spiderman2

2.1K

二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）

Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。

自风/Spiderman

3.5K

强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活

lg0322/FilmSpider

基于java的爬虫系统，可爬取国内主流视频网站的视频数据，目前支持爬取豆瓣、猫眼、IMDB、百度百科、优酷、电视猫数据。

代码神童/YayCrawler

1.3K

分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了