Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架，可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发，具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿，在外部已被数十家公司所使用。

三足乌数据中台，集数据接入、数据开发、数据治理、数据标签、数据资产、数据服务、数据运维、系统管理等功能为一体。打通数据壁垒，解决数据孤岛问题，实现数据低代码开发，助力企业数字化转型。

数据血缘，支持spark sql,presto sql,tidb sql, flink sql, datax血缘,Spark/flink jar 运行命令的血缘解析；支持with语法

一个简单的网易云音乐大数据分析，采用 Saprk 框架进行分析，并以前端 vue 使用 ECharts 进行展示

Spark SQL运行中间件，运行在Spark SQL上的动态SQL利器

基于Spark ml，构建从数据预处理，特征工程，机器学习模型训练，服务定时调度再到服务发布等功能的平台。支持自定义的spark ml模型，pmml模型的服务发布，以Rest的方式提供接口服务

一、地址分词 识别地址字符串中的省市区县、街道、道路、小区、楼栋、单元、户室的等。 二、自定义词库加载 加载自定义词库，人工定向干预地址词库，提升地址分词和关联的准确性。 三、构建中文标准地址库 自动化的地址库工具，可以对低质量的地址分析、修正和建地址库。 四、普通地址关联标准地址算法 将非标准写法的地址统一关联到标准地址上。 五、快递地址自动解析省市区县以及名称电话和邮编等 六、自动补充行政区划

亿级数据分钟级入缓存，Spark、Redis、限流

This project is used for tracking lineage when using spark. Our team is aimed at enhancing the ability of column relation during logical plan analysis.Spark列级血缘(字段血缘)关系处理。

理解机（英文名：Liga）：是用于调用ML模型的Spark SQL扩展框架

基于SparkStreaming的实时项目

spark大数据框架的基本使用，用spark分析数据，数据类型为Excel或者Mysql数据。

Mainly about JAVA and big data study notes

至轻云-打造大数据计算平台