2 Unstar Star 3 Fork 1

elaiza / sparkmallScalaMulanPSL-1.0

Create your Gitee Account
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
spark离线和实时项目 spread retract

Clone or download
README.md 829 Bytes
Copy Edit Web IDE Raw Blame History
yw authored 2020-06-16 12:18 . 更新README.md

sparkmall

介绍

spark离线和实时项目

软件架构

软件架构说明

基于: hadoop
语言: sacla java
离线源数据存储: hive
实时源数据传输: kafka + canal
离线计算: spark rdd + spark sql + spark on hive
实时计算: flink

离线结果集存储: mysql
实时结果集存储: redis + hbase

安装教程

  1. 需要Hadoop集群环境
  2. 安装hive + mysql + kafka + zookeeper + spark + flink 等大数据组件
  3. maven管理项目,多个模块

模块描述

  1. sparkmall-common 工具类 + Hive源数据表样例类
  2. sparkmall-mock 造源数据到Hive功能实现
  3. sparkmall-offline 离线统计模块
  4. sparkmall-mock 实时统计模块

参与贡献

  1. Fork 本仓库
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request

Comment ( 0 )

Sign in for post a comment

Scala
1
https://gitee.com/elaiza/sparkmall.git
git@gitee.com:elaiza/sparkmall.git
elaiza
sparkmall
sparkmall
master

Search

132457 8cb2edc1 1899542 131848 70c8d3a4 1899542