# 大数据存储_地铁数据

**Repository Path**: hanhan-jun/Metro_data_storage

## Basic Information

- **Project Name**: 大数据存储_地铁数据
- **Description**: 大数据存储课设，随机生成千万级数据，将其存储进Hbase，使用spark对hbase中的数据进行读取，再进行数据清洗，将清洗完的数据存储进redis数据库中，并使用echarts和flask、ajax进行实时可视化展示
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 0
- **Created**: 2022-08-30
- **Last Updated**: 2024-12-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 大数据存储_地铁数据

#### 介绍
大数据存储课设，随机生成千万级数据，将其存储进Hbase，使用spark对hbase中的数据进行读取，再进行数据清洗，将清洗完的数据存储进redis数据库中，并使用echarts和flask、ajax进行实时可视化展示

#### 软件架构
软件架构如文件目录所示

#### 说明
数据存储部分将千万级数据导入hbase，会造成在importTsv上传数据的时候RegionServer时不时就会dead，每次都去单独启动那个dead的结点，导致我上传一千万数据慢的要死，mapreduce的过程也在反复不停，一直卡在50%左右，看日志发现报这个错.RemoteException(java.io.IOException)，后面老师分析说，应该是自己的笔记本运行内存不够所造成的，虚拟机的内存也不足。
由此，后面我直接用javaapi分批上传，效率还不错，，把千万级数据分成十批，每次一百万的put上传。

个人理解：
随着最近再次使用hbase，我发现rs一直宕机，很有可能是造成了写热点问题，这需要在创建表的时候进行预分区。