# big-data-recommend-system

**Repository Path**: Myvalley/big-data-recommend-system

## Basic Information

- **Project Name**: big-data-recommend-system
- **Description**: 以中文亚马逊电商数据集为依托的大数据电商推荐系统
- **Primary Language**: Unknown
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2025-03-04
- **Last Updated**: 2025-03-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### 大数据电商推荐系统

#### 项目概要

本次项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托，以某电商网站真实业务数据架构为基础，构建了一体化的电商推荐系统，包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、平台部署等多方位的闭环的业务实现，项目最终在项目答辩中获得专业最高分。

![img_1.png](picture/img_1.png)

#### 项目设计

为了更好的加强小组合作能力与强化大数据与后端等编程能力，决定对整个项目进行重构，重新使用SpringBoot+SpringMVC，并采用前后端分离的开发模式重写所有前后端代码与大数据模块，于是开始了我们的项目的重新设计。
1. 初始项目设计
![img.png](picture/img.png)
2. 项目实际设计
![img.png](picture/img_2.png)
3. 项目开发环境
![img_3.png](picture%2Fimg_3.png)

#### 项目实现过程

![img_5.png](picture%2Fimg_5.png)

#### 项目基本成果

![img_7.png](picture%2Fimg_7.png)
![img_8.png](picture%2Fimg_8.png)
![img_9.png](picture%2Fimg_9.png)
![img_6.png](picture%2Fimg_6.png)
![img_10.png](picture%2Fimg_10.png)
![img_11.png](picture%2Fimg_11.png)

#### 关于项目优化

由于当前项目较小，且开发周期较短，采用单体架构设计与本地虚拟机运行Kafka集群进行部署，且由于成员大多未系统学习过前端后端，项目主体部分基本由本人与另一位前端成员完成，有很多不足，还可以进一步优化与完善。

##### 微服务架构

在大数据时代单体架构的SpringMVC已经不足以应对大数据处理，可以改为 Spring Cloud 微服务架构的可以提供更好的弹性伸缩、模块化开发和部署、容错和容灾、数据分片和分布式计算等优点，更适合应对大数据场景下的挑战和需求。

##### 分布式部署

当前由于服务器资源不足，将Spark分布式计算框架包括Kafka集群等部署在多台服务器上，实现数据存储和计算的分布式处理。将数据和计算任务分散在多个节点上，充分利用集群资源，完全分布式部署可以提供高可用性、高性能和扩展性，适用于大规模数据处理和分析的场景。

##### Redis

Redis是一个高性能的内存数据库，可以用作缓存层，有效减轻业务数据库和用户数据库负载压力。本项目仅使用Redis进行用户近期评分数据的相关缓存，没有发挥其全部功能。 通过将Redis与MongoDB、MySQL和SpringMVC结合使用，可以提高系统的性能、可扩展性和并发控制能力，从而提升用户体验和系统的稳定性。