(1)Python爬虫进行数据爬取; (2)搭建Hadoop分布式集群; (3)Hive数仓存储原始数据; (4)Spark整合Hive完成数据分析,结果存入MySQL; (5)Spring Boot+ECharts进行数据可视化。
最近更新: 7个月前“宠物派”宠物寄养平台,分为“前台子系统”和“后台管理子系统“两部分。前台使用Vue2+Vant2实现H5页面,后台管理系统使用Vue2+Element Ui实现,后端使用Node.js+Express+MySql搭建。满足宠人士对宠物寄养的需求,前台主要功能有用户注册登录、寄养商家浏览、伴宠日记浏览、宠物信息管理、订单功能等; 后台主要功能有商家管理、伴宠日记管理、用户管理、订单管理等。
最近更新: 1年前实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目: