开源中国 2018 年度最后一场技术盛会邀你来约~错过就要等明年啦!点此立即预约

Jaware / CrawlerDemonLGPL-3.0

Watch 1 Star 0 Fork 71
forked from itlabers / CrawlerDemon 
加入码云
与超过 300 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
垂直应用爬虫,基于akka+okHttp+spring+jsoup ,配置简单,上手容易,支持配置动态参数,动态代理,http自动重试。 展开 收起

itlabers 最后提交于 Update README.md
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md

特点

  1. 基于akka 高性能分布式框架
  2. 使用 spring 配置请求参数
  3. 自动管理代理地址Ip,http请求重试, 超过重复次数丢弃请求
  4. 针对任务请求,任务响应实现过滤(需要根据自己业务实现过滤逻辑)
  5. 配置多数据源存储 抓取数据自由选择入库

系统核心组件

  1. task 生成请求任务,填写 请求的url ,页面编码,header ,parma 参数
  2. actor 具体抓取actor,处理taskRequest 的请求转发,页面分页,taskResponse 过滤
  3. parse 解析具体页面内容,写库操作。

项目点评 ( 0 )

你可以在登录后,发表评论

搜索帮助

12_float_left_people 12_float_left_close