# easy-etl 轻量级大数据采集清洗平台

**Repository Path**: ddfeiyu/easy-etl

## Basic Information

- **Project Name**: easy-etl 轻量级大数据采集清洗平台
- **Description**: 大数据采集清洗平台
• easy-etl-mysql-ods：采集清洗mysql数据比如MySQL到ods临时中间库(包括Redis、Kafka等)；

• easy-etl-mysql-olap：采集清洗mysql数据到OLAP数据仓库；

• easy-etl-mysql-hadoop：采集清洗mysql数据到Hadoop分布式存储；

• easy-etl-logfile-ods：采集清洗半结构化日志文件，比如json、xml、log、csv文件数据到ods临时中间库；

• easy-etl-logfile-olap：采集清洗半结构化日志文件数据到OLAP数据仓库；

• easy-etl-logfile-hadoop：采集清洗日志文件数据到Hadoop分布式存储；

• easy-etl-mq-ods：通过MQ消费采集数据，入ods库；

• easy-etl-mq-olap：通过MQ消费采集数据，入OLAP库；

• easy-etl-mq-hadoop：通过MQ消费采集数据，入Hadoop；

- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 6
- **Forks**: 2
- **Created**: 2021-03-02
- **Last Updated**: 2026-03-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# easy-etl 轻量级大数据采集清洗平台

#### 介绍
大数据采集清洗平台
• easy-etl-mysql-ods：采集清洗mysql数据比如MySQL到ods临时中间库(包括Redis、Kafka等)；
• easy-etl-mysql-olap：采集清洗mysql数据到OLAP数据仓库；
• easy-etl-mysql-hadoop：采集清洗mysql数据到Hadoop分布式存储；
• easy-etl-logfile-ods：采集清洗半结构化日志文件，比如json、xml、log、csv文件数据到ods临时中间库；
• easy-etl-logfile-olap：采集清洗半结构化日志文件数据到OLAP数据仓库；
• easy-etl-logfile-hadoop：采集清洗日志文件数据到Hadoop分布式存储；
• easy-etl-mq-ods：通过MQ消费采集数据，入ods库；
• easy-etl-mq-olap：通过MQ消费采集数据，入OLAP库；
• easy-etl-mq-hadoop：通过MQ消费采集数据，入Hadoop；

#### 软件架构
软件架构说明


#### 安装教程

1.  xxxx
2.  xxxx
3.  xxxx

#### 使用说明

1.  xxxx
2.  xxxx
3.  xxxx

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)