Spark Streaming+Flume+Kafka+HBase+Hadoop+Zookeeper实现实时日志分析统计;SpringBoot+Echarts实现数据可视化展示
最近更新: 6年前基于spark流处理,模拟数据,统计数据,分析数据。大致架构:python脚本产生模拟数据(数据源),flume采集数据并且缓存到kafka中存储,接着spark消费并处理kafka中的数据,将结果存放至hbase(底层是hdfs)中。最后将数据进行可视化编程,javaweb项目,使用了springboot框架和echarts。
最近更新: 6年前