Watch 1 Star 1 Fork 0

赠你七时年 / sparkScalaMulanPSL-1.0

Create your Gitee Account
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
scala + spark + oracle 处理分析数据 spread retract

Clone or download
wsx authored update
Cancel
Notice: Creating folder will generate an empty file .keep, because not support in Git
Loading...
README.md

关于spark 处理数据的小demo

基本功能:

利用spark计算处理oracle数据库某张表中数据,可以对表中数据进行规则校验,关联校验,分析计算,并定义和输出 结果数据 保存到Oracle数据库中
根据结果表生成分析报表数据

基本流程

技术:scala+spark+oracle
开发工具:idea,本地搭建spark运行环境
业务场景: oracle 某张表 大数据量,每个字段里的值需要进行校验,形成一些校验结果数据并保存。
          面对复杂和大数据量的情况采用计算引擎spark处理,达到提升效率的目的。

Comments ( 0 )

Sign in for post a comment

Scala
1
https://gitee.com/seean-xs/sparkdemo.git
git@gitee.com:seean-xs/sparkdemo.git
seean-xs
sparkdemo
spark
master

Search

231008 48f1a665 1899542 231017 9a6720c6 1899542