# UserADS

**Repository Path**: guiweiqiu/user-ads

## Basic Information

- **Project Name**: UserADS
- **Description**: 尚硅谷金融审批数仓
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-25
- **Last Updated**: 2024-07-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Spark, hive, Scala

## README

> 尚硅谷题改，原视频：【尚硅谷大数据项目之金融审批数仓，金融审批业务，离线数据仓库实战教程】https://www.bilibili.com/video/BV1mG411o7Lt?p=87&vd_source=b6abb5de0a4992ac1d8c17604e03a1dd

# ods层

## 1.

> 使用spark 将 MySQL 中 finance_result 库中的 business_partner 表全量抽入 hive 的 FA 库的 ods_business_partner_full 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 2.

> 使用spark 将 MySQL 中 finance_result 库中的 department 表全量抽入 hive 的 FA 库的 ods_department_full 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 3.

> 使用spark 将 MySQL 中 finance_result 库中的 employee 表全量抽入 hive 的 FA 库的 ods_employee_full 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 4.

> 使用spark 将 MySQL 中 finance_result 库中的 industry 表全量抽入 hive 的 FA 库的 ods_industry_full 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 5.

> 使用spark 将 MySQL 中 finance_result 库中的 credit_facility 表全量抽入 hive 的 FA 库的 ods_credit_facility_inc 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 6.

> 使用spark 将 MySQL 中 finance_result 库中的 credit_facility_status 表全量抽入 hive 的 FA 库的 ods_credit_facility_status_inc 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 7.

> 使用spark 将 MySQL 中 finance_result 库中的 credit 表全量抽入 hive 的 FA 库的 ods_credit_inc 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 8.

> 使用spark 将 MySQL 中 finance_result 库中的 contract 表全量抽入 hive 的 FA 库的 ods_contract_inc 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



## 9.

> 使用spark 将 MySQL 中 finance_result 库中的 reply 表全量抽入 hive 的 FA 库的 ods_reply_inc 表，分区为当前日期的前一天，格式为 yyyyMMdd ，类型为 String 类型



# dim层

> 观察dim层，依据ods表进行处理后写入dim表中

## 1.

> 将 FA库中的 ods_department_full 表进行处理后写入 FA 库中的 dim_department_full 表中，分区值不变



## 2.

> 将 FA 库中的 ods_employee_full 表写入 FA 库中的 dim_employee_full 表中，分区值不变



## 3.

> 将 FA 库中的 ods_industry_full 表写入 FA 库中的 dim_industry_full 表中，分区值不变



# dwd层

## 1.

> 将dim层数据经过处理后存入FA库的dwd_financial_lease_flow_acc表中



# ads层

## 1.

> 根据相关表统计结果 写入FA.dwd_financial_lease_flow_acc表中