python 脚本运行,flume采集 ,kafka消费接收 ,Sparkstreaming 直连方式实时流处理,过滤出想要的数据,最后把数据保存至HBase数据库
python 脚本运行,flume采集 ,kafka消费接收 ,Sparkstreaming 直连方式实时流处理,过滤出想要的数据,最后把数据保存至HBase数据库
1.spark sql 进行数据清洗 2.把清洗的数据保存至parquet 结构 3.需求top功能 1.计算每天最受欢迎的课程 top 2.计算每个地区最收欢迎的课程 top3、 4.把数据保存至mysql 数据库 先建立表
Contributions last year: 0
Max continuous contributions: 0
Recent contributions: 0
Commits, issues, and pull requests will appear on your contribution graph. Only when the email address used for the commits in local configuration is associated with your GitOSC account, the commits' contribution will be counted.