# sparkstreaming

**Repository Path**: lm_fine/sparkstreaming

## Basic Information

- **Project Name**: sparkstreaming
- **Description**: DB 操作 
1.1 sqlserver 连接池管理 
1.2.redis连接池管理（哨兵模式） 
1.3 clickhouse连接 
2.spark streaming 实现功能 
2.1 流和半静态化关联处理。借用redis缓存
2.2 流和流关联处理，使用cogroup代替join功能，避免错峰导致控制指针异常 
2.3 流和维表关联，维表数据采用广播变量的方式广播出去(广播变量会定期根据数据是否发生变化进行更新) 2.4 读取Kafka(正则动态获取topic), sink到DB
任务提交
3.执行 shell 提交任务到yarn 
例如: bash itemcenter_item.sh prod
- **Primary Language**: Java
- **License**: GPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2022-07-30
- **Last Updated**: 2022-07-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### 业务实现的部分功能
1. 商品库存和价格信息同步到clickhouse
2. 商品库存和价格信息过滤部分数据更新到sqlserver
3. 两个订单流实时关联处理

### 功能
1. DB 操作
  1.1 sqlserver 连接池管理
  1.2.redis连接池管理（哨兵模式）
  1.3 clickhouse连接
2.spark streaming 实现功能
  2.1 流和半静态化关联处理。借用redis缓存
  2.2 流和流关联处理，使用cogroup代替join功能，避免错峰导致控制指针异常
  2.3 流和维表关联，维表数据采用广播变量的方式广播出去(广播变量会定期根据数据是否发生变化进行更新)
  2.4 读取Kafka(正则动态获取topic), sink到DB

### 任务提交
执行 shell 提交任务到yarn
例如: bash itemcenter_item.sh prod