# DataBand数据帮 一站式大数据分析平台

**Repository Path**: driphub/databand

## Basic Information

- **Project Name**: DataBand数据帮 一站式大数据分析平台
- **Description**: DataBand（数据帮），快速采集清洗，数据分析，快速开发工具集、人工智能赋能服务，是一站式的大数据平台。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 638
- **Created**: 2020-10-27
- **Last Updated**: 2021-11-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# DataBand数据帮 一站式大数据分析平台

#### 介绍
DataBand（数据帮），快速采集清洗，数据分析，预测分析，人工智能赋能服务，是一站式的大数据平台。我们致力于通过提供智能应用程序、数据分析和咨询服务来提供最优解决方案。

#### 软件架构
![架构](https://gitee.com/475660/databand/raw/master/DataBand_structure.png "DataBand数据帮系统架构")

#### 技术栈

#### 存储

- 分布式存储：HDFS、HBase
- 行式关系存储：MySQL、Oracle
- 列式存储：ClickHouse
- 列族存储：HBase、Cassandra
- 文档库：ElasticSearch、MongoDB

#### 计算

- 计算引擎：Presto、Hive
- 流处理：Storm、Flink

#### 集成：

- Flume
- Filebeat
- Logstash

#### 前端技术栈

- Vue
- Element UI

#### 后端技术栈

- Spring Boot
- Spring Cloud
- MyBatis

#### 工程说明

#### 大数据模拟数据源生成数据

- databand-mock-log：日志模拟工具，手动产生大量的日志数据供调试测试，比如Syslog、log、Json、MySQL注入、RPC写、CSV生成等；
- databand-mock-mq：日志模拟工具，通过MQ写产生大量的日志数据供调试测试，比如RabbitMQ写、Kafka写等；

#### 数据采集清洗

- databand-etl-oltp-ods：采集清洗OLTP数据比如MySQL到ods临时中间库；
- databand-etl-oltp-olap：采集清洗OLTP数据到OLAP数据仓库；
- databand-etl-oltp-hadoop：采集清洗OLTP数据到Hadoop分布式存储；
- databand-etl-logfile-ods：采集清洗半结构化日志文件，比如json、xml、log、csv文件数据到ods临时中间库；
- databand-etl-logfile-olap：采集清洗半结构化日志文件数据到OLAP数据仓库；
- databand-etl-logfile-hadoop：采集清洗日志文件数据到Hadoop分布式存储；
- databand-etl-mq-ods：通过MQ消费采集数据，入ods库；
- databand-etl-mq-olap：通过MQ消费采集数据，入OLAP库；
- databand-etl-mq-hadoop：通过MQ消费采集数据，入Hadoop；；

#### 数据分析作业

- databand-job：定时任务工具，

#### 数据分析门户

- databand-ui：前端UI工程，数据展现；
- databand-admin：后端权限、关系、站点配置管理；
- databand-api：数据api服务；
- databand-tools：BI工具集；
- databand-ml：数据科学工程；


#### 使用说明

#### databand-mock-log  日志模拟工具
目前是简单的控制台小程序，直接运行main即可。
- CsvMock.java：csv文件生成，运行后在文件夹中可找到csv文件：
![架构](https://gitee.com/475660/databand/raw/master/DataBand_structure.png "DataBand数据帮系统架构")


#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)