3 Star 32 Fork 4

哒哒哒耳文 / squirrel

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

squirrel

介绍

squirrel(居哩猫)是一款基于Java语言开发,借助webmagic框架实现的聚合科技资讯爬虫项目,享受24H科技新闻速览。

技术交流学习使用,请勿用于任何商业用途!!!

软件架构

  1. webmagic爬虫核心框架
  2. quartz任务调度框架

目前完成的数据源

  1. 36Kr
  2. iyiou
  3. NewSeed
  4. Jiemian
  5. PingWest
  6. ChinaVenture
  7. Pedaily
  8. tmtpost
  9. technode
  10. qubi8
  11. itjuzu
  12. hexun-tech

以上数据源作为参考,内容是一个不断修正的过程。

效果演示

enter image description here

enter image description here

技术交流

微信号:oddubbo

e-mail:zscao@daervin.com

改进记录

2019-12-08 优化重复标题计算逻辑

2019-12-10 增加阻塞队列,数据顺序落地,从而达到多源展示的效果

2019-12-12 优化部分数据源,新增两个数据源

空文件

简介

squirrel(聚哩猫)是一款基于Java语言开发,借助webmagic框架实现的聚合科技资讯爬虫项目,享受24H科技新闻速览。 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/zscao/squirrel.git
git@gitee.com:zscao/squirrel.git
zscao
squirrel
squirrel
master

搜索帮助

14c37bed 8189591 565d56ea 8189591