# IntegratedRecSys

**Repository Path**: time_and_space_ferry/integrated-rec-sys

## Basic Information

- **Project Name**: IntegratedRecSys
- **Description**: 一个基础工业界的电影推荐系统，前后端分离架构，后端技术SpringBoot，前端Vue。数据集为MovieLens latest。已实现基于深度学习NeuralCF、DeepCrossing、Wide&Deep的个性化推荐和模型在线A/B测试。基于预存Embedding（Item2vec|DeepWalk）实现相似电影推荐功能。
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: http://43.138.158.143/index.html#/index
- **GVP Project**: No

## Statistics

- **Stars**: 36
- **Forks**: 5
- **Created**: 2023-03-20
- **Last Updated**: 2025-07-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 推荐算法, 深度学习

## README

本项目是一个为推荐算法和其他相关AI方向提供一个准工业界的web实战环节的非商业项目，可以结合众多AI能力，进行算法能力和效率的测试验证，主题为电影。  
本项目的初衷来自王喆大神的《深度学习推荐系统》，其推荐序中一段如下。
>技术发展将从依赖深度学习算法单点突破收割技术红利，开始转向更为复杂的、系统性的技术体系推进，进一步创造技术红利。这里，关键性的技术破局点是算法与系统架构的协同设计（also-system co-design）


该项目技术架构如下：
后端：Springboot单模块+Mybatis  
前端：Vue+Elementui  
数据爬虫：request  针对IMDB和MovieLens进行数据爬取
数据分析：Spark-scala  
深度学习模型：Tensorflow  
模型部署：Docker+Tensorflow Serving  
数据存储：Mysql+Redis  

![输入图片说明](https://gitee.com/time_and_space_ferry/image/raw/master/computer_science/recommdation/git-3.png)
![输入图片说明](https://gitee.com/time_and_space_ferry/image/raw/master/computer_science/recommdation/git-6.png)

已实现的核心功能如下：
1. 电影个性化推荐+三种推荐模型在线A/B测试：NeuralCF、DeepCrossing、Wide&Deep
2. 相似电影推荐：预存Item2vec|DeepWalk + 向量内积计算相似度
3. 数据库已保存MovieLens的ml-latest-small数据集，包含600名用户对9700余部电影的评分数据
本项目已完成用户端的推荐系统流程搭建，具备以下功能：
1. 新用户推荐算法冷启动【规则化推荐】
2. 新用户评价电影->更新用户|电影统计表->个性化推荐

有待完善的技术方向如下：  

【***】移动端适配，rem或者@media方面  

【***】 对于用户对电影的评分，大多数网站并没有相关的门槛限制，导致日积月累下来电影的评分数据有非常大的误差，也会导致恶意数据的上传，
新功能的设想如下：根据电影简介或者加入爬虫爬取电影详细信息，结合知识图谱技术，生成相关电影的问答，以选择题的形式，检验用户是否看过电影，正确率达到一定程度即为通过，允许用户评分。
并且随后为用户更新观影等级，  

【***】加入OCR技术，用户可以上传电影票据，自动生成个人观影记录，观影记录为优质美观图文形式，可以融入AIGC技术。  

1. 物品端的推荐完整流程搭建，通过管理员手动添加或者爬虫定期爬取新增电影
2. 对新电影的冷启动策略
3. 当前Item2vec和DeepWalk只能对部分电影进行Embedding计算，深入研究并实现Embedding策略
4. 大数据架构探索，结合Spark和hadoop，将数据分析环节集成如系统，实现端到端运维上线
5. 探索并部署更多推荐算法，包括但不限于GNN、注意力机制、强化学习；基于电影内容的推荐算法
6. 用户个人界面，头像管理，密码找回，可以观看其他用户的观影记录，等其他功能
7. 补充模型A/B测试的评估指标的后台管理展示
8. 对于用户给电影评分，用户或电影统计表的统计类特征更新问题，例如电影平均分、评分标准差、电影平均发布年限等，对于反馈数据较多的用户或电影，单次反馈操作导致更新的幅度很小可能导致数据不会变化。

有兴趣加入的小伙伴可以私信联系我啊

项目的前端部分：https://gitee.com/time_and_space_ferry/integrated-rec-sys-vue  
项目的推荐算法与数据爬虫部分：https://gitee.com/time_and_space_ferry/rec-system-algorithm/  
数据集：链接：https://pan.baidu.com/s/1K57xmAZB6eaLL-bKLD8dOg?pwd=maw0 提取码：maw0   

数据库sql：链接：https://pan.baidu.com/s/1PVkslPM2ywMi5N7q_LTvtA?pwd=zisa  提取码：zisa