分布式电商系统,采用SpringCloud分布式框架,利用consul完成服务注册与发现,利用Rocket实现消息队列,采用solr搜索系统,利用Redis做缓存。基于Mybaits-plus,完成代码自动生成及开发。
开源中国openapi 应用demo,应用为从csdn ,cnblogs, 51cto, iteye个人博客列表下载所有博文,导入到该用户的oschina博客。应用以webmagic爬虫获取csdn博客,感谢@黄亿华 。
webmagic的是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
项目分两个部分: 一个是基于webmagic爬虫框架开发的定向爬虫,用于爬天猫的数据。rails4写的website用于查询天猫商品统计后的数据。以后会增加数据分析模块。