新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
不懂数据采集技术,也可轻松采集海量数据!简单易上手,人人可用的数据采集工具!
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
爬虫项目,微信公众号文章爬虫,网站文章爬虫,群发邮件系统
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
使用JCEF(chromium内核)开发的抓取数据浏览器,可以用来制作浏览器,也可以用来制作爬虫。
一款低入侵分布式爬虫框架,仅仅依赖少量第三方包,具有多进程多线程,集成反爬、验证码破解方案,自由定制,cookie自动管理,多数据源支持(database,nosql,es),客户端-服务端分离(充分利用ip)集群支持等特性)
springboot【小说阅读网站】,多线程抓取小说数据(单本或者批量),持久化到MySQL数据库,能定时跟源站数据同步=小说定时更新。通过jsoup采集数据到mysql数据,redis作为缓存框架,减轻服务器压力。部署在linux,网站UI套纵横中文网!