# Movie_Recommendation

**Repository Path**: hai804/Movie_Recommendation

## Basic Information

- **Project Name**: Movie_Recommendation
- **Description**: mysql+hdfs数据存储，spark sql数据清洗，spark streaming进行数据分析，Apriori数据挖掘算法
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-10-16
- **Last Updated**: 2021-10-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

1.爬虫文件需先新建数据库
在本地mysql创建test数据库，并创建internet，rate两个表。
CREATE TABLE `internet` (
  `ip` varchar(45) DEFAULT NULL,
  `port` varchar(45) DEFAULT NULL,
  `id` int(11) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=604 DEFAULT CHARSET=utf8

CREATE TABLE `rate` (
  `userid` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(45) DEFAULT NULL,
  `moiveid` int(11) NOT NULL,
  `rate` int(11) DEFAULT NULL,
  PRIMARY KEY (`userid`,`moiveid`)
) ENGINE=InnoDB AUTO_INCREMENT=4682 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

更改项目下MysqlApi.py文件的MYSQL_DB， MYSQL_USER， MYSQL_PASS，  MYSQL_HOST四项配置的值
完成后运行IpSpider文件夹下的IpSpider.py文件,进行代理ip的爬取。
待上一步完成后运行RatingSpider文件夹下的RatingSpider.py即可。

并将数据写成文件存入HDFS中

2.使用spark-submit提交spark.py文件，默认参数为  --name demo  --master spark://master:7077
spark.py运行结果为 生成一个挖掘的关联数据csv文件到当前文件夹目录底下