【开源实习】基于MindSpore框架的FlashRAG国产化适配-整体框架设计与算法适配

【任务分值】100分
【任务背景】
随着大型语言模型（LLMs）的迅速发展，检索增强生成（RAG）技术因其能够有效减轻LLMs中的幻觉问题而日益受到学术界与工业界的重视。RAG通过整合外部知识库，显著提高了模型输出的准确性和可靠性。然而，由于缺乏标准化的实现框架，加之RAG本身流程的复杂性，研究人员在一致的环境中比较和评估不同的RAG方法时面临着挑战。
虽然市场上已存在一些RAG相关的工具包，例如LangChain和LlamaIndex，但这些工具包往往较为复杂，难以满足研究者们对于灵活性和定制性的需求。鉴于此背景，研究人员提出了一款名为FlashRAG的高效且模块化的开源工具包。该工具包旨在提供一个统一的框架，使研究人员能够轻松地复现已有的RAG方法，并在此基础上开发自己的RAG算法。
目前这类RAG相关工具包都是基于PyTorch和Transformers等国外开源框架实现的，这些框架在设计之初并未充分考虑对国产硬件平台及其配套软件的支持。因此，为了更好地适应本土环境、促进自主可控的技术发展，我们需要对工具包进行国产化改造，使RAG相关应用能够在国产芯片及操作系统上高效运行。
【需求描述】
基于Mindspore相关套件对FlashRAG的整体框架进行适配，实现RAG算法在国产框架下的运行以及评测。
具体需求如下(完全基于MindSpore相关框架):
1.构建FlashRAG-Mindspore代码仓库，实现FlashRAG的框架整体迁移, 将各类国产化后的组件集成到整体框架中
2. 实现FlashRAG中的环境模块: 数据集加载，结果评测，参数配置
3. 实现FlashRAG支持的10种RAG算法的迁移，包括: AAR, LongLLMLingua, RECOMP, Selective-Context, Ret-Robust, SKR, REPLUG, FLARE, ITRG, IRCOT
【数据集】
所需的数据集为FlashRAG仓库提供的6个QA任务的数据集: NQ, TriviaQA, HotpotQA, PopQA, WebQuestions,2WikimultihopQA(链接: https://huggingface.co/datasets/RUC-NLPIR/FlashRAG_datasets). 
【参考资料】
1. FlashRAG仓库链接：https://github.com/RUC-NLPIR/FlashRAG 
2. Mindnlp文档: https://github.com/mindspore-lab/mindnlp 
3. MindTorch文档: https://mindtorch.readthedocs.io/zh-cn/latest/docs/User_Guide_Begin.html

【验收标准】
1. 实现的方法的相对误差<3%或优于原始实现
2. 构建FlashRAG-Mindspore仓库

【任务技术要求】
1. pytorch，faiss，transformers代码能力
2. 最新版本的mindspore和mindnlp框架
3. 在华为昇腾处理器上运行

【任务成果仓库】
FlashRAG-Mindspore
【导师邮箱】
窦老师（中国人民大学）：dou@ruc.edu.cn

MindSpore/community
关闭

内容风险标识

评论 (10)

MindSpore/community关闭 .gitee-modal { width: 500px !important; }

内容风险标识