# Spark-Movie

**Repository Path**: goalaaa/Spark-Movie

## Basic Information

- **Project Name**: Spark-Movie
- **Description**: Spark电影数据分析实战，利用spark开发针对用户观影等历史行为数据进行采集、分析和展示
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2023-02-15
- **Last Updated**: 2023-12-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# spark电影数据分析

数据请参考于 [电影数据](moive-data)

```
 电影点评系统用户行为分析：用户观看电影和点评电影的所有行为数据的采集、过滤、处理和展示：
 1，"ratings.dat"：UserID::MovieID::Rating::Timestamp
 2，"users.dat"：UserID::Gender::Age::OccupationID::Zip-code
 3，"movies.dat"：MovieID::Title::Genres
 4, "occupations.dat"：OccupationID::OccupationName
```

### 需求一

1. 读取信息,统计数据条数. 职业数, 电影数, 用户数, 评分条数
1. 显示每个职业下的用户详细信息，显示为 (职业编号,(人的编号,性别,年龄,邮编),职业名)

[参考实现](practice/001.md)

### 需求二

1. 某个用户看过的电影数量
1. 这些电影的信息，格式为:  (MovieId,Title,Genres)

[参考实现](practice/002.md)

### 需求三

1. 所有电影中平均得分最高的前 10 部电影:(分数,电影 ID) 这些电影的信息，格式为:(MovieId,Title,Genres)
1. 观看人数最多的前 10 部电影:(观影人数,电影 ID)

[参考实现](practice/003.md)

### 需求四

1. 分析男性用户最喜欢看的前 10 部电影
1. 女性用户最喜欢看的前 10 部电影  输出格式:  ( movieId, 电影名,总分，打分次数，平均分)

[参考实现](practice/004.md)

### 需求五

1. 分析最受不同年龄段人员欢迎的前 10 部电影

原始数据集中的年龄段划分如下：

```
* under 18: 1
* 18 - 24: 18
* 25 - 34: 25
* 35 - 44: 35
* 45 - 49: 45
* 50 - 55: 50
* 56 - + : 56
```

[参考实现](practice/005.md)

### 需求六

1. 分析不同类型的电影总数  输出格式:( 类型,数量)

[参考实现](practice/006.md)

### 需求七

1. 分析每年度生产的电影总数  输出格式:(年度,数量)

[参考实现](practice/007.md)

### 需求八

1. 分析每年度不同类型的电影总数

[参考实现](practice/008.md)

### 需求九

1. 分析不同职业对观看电影类型的影响 格式: (职业名,(电影类型,观影次数))
1. 结果入库 格式:  (职业名,(电影类型,观影次数))

[参考实现](practice/009.md)