新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。

二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）

分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了

风铃虫是一款轻量级的高效爬虫工具，配置简单，方便二次开发，能抓取js渲染的网页，可以抓取任何数据，支持保存网页快照，智能防封杀，天然适合分布式。

springboot【小说阅读网站】，多线程抓取小说数据(单本或者批量)，持久化到MySQL数据库，能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据，redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！

专门用来解决爬虫采集相关网站数据时模拟自动登录，验证码自动识别的问题；欢迎加入一起开发完善。

一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；

基于hadoop思维的分布式网络爬虫。

丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站

zhihu-crawler是一个基于Java的爬虫实战项目，主要功能是抓取知乎用户的基本资料。

适合抓取封堵的爬虫框架