# 参赛作品

**Repository Path**: fa223797/huawei_cansai

## Basic Information

- **Project Name**: 参赛作品
- **Description**: 基于检索增强的多智能协作的结构化长文献综述生成
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-01-11
- **Last Updated**: 2025-01-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 基于大模型的文献综述生成系统

## 1. 赛项背景

对于学生、科研工作者和科技从业者而言，在知识研究型工作中，要花超过60%的时间来进行文献资料的调研整理等繁杂且重复的工作。如何从海量文献中快速、准确地获取所需信息，一直是产学研人员面临的一大挑战。大模型强大的长文本能力、指令理解能力和跨学科推理分析能力为这些挑战带来切实可行的解决方案，它可以帮助产学研人员快速的、系统地梳理某一领域的研究现状、技术发展方向以及问题解决方法，为后续研究提供有力支持。

## 2. 解决方案

本项目实现了一个基于大模型的文献综述生成系统，主要功能包括：

1. PDF文献转换
   - 使用marker库进行PDF到Markdown的转换
   - 保留文献的文本内容和图片信息
   - 支持批量处理多个PDF文件

2. 综述生成
   - 支持多种综述类型：
     - 技术概念调研综述
     - 研究现状综述
     - 多个方法对比分析综述
     - 技术方法研究脉络综述
   - 基于Qwen2.5-3B-Instruct模型进行生成
   - 保持客观性和准确性

## 3. 系统优化方向

### 3.1 模型加载和推理优化

1. 模型量化
   - 使用INT8/INT4量化减少模型大小
   - 实现更快的加载速度和更低的内存占用

2. 模型推理加速
   - 使用ONNX Runtime进行推理加速
   - 利用TensorRT进行GPU加速
   - 实现模型的动态批处理

3. 分布式部署
   - 使用模型并行技术
   - 实现负载均衡
   - 支持多GPU分布式推理

4. 模型缓存机制
   - 实现模型热加载
   - 使用模型权重缓存
   - 优化模型初始化过程

### 3.2 知识库搜索优化

1. 索引优化
   - 使用更高效的索引结构(如HNSW)
   - 实现增量索引更新
   - 优化向量检索算法

2. 数据预处理
   - 实现文本分块的智能切分
   - 优化文本清洗流程
   - 提高文本表示质量

3. 缓存策略
   - 实现多级缓存机制
   - 使用预热策略
   - 优化缓存更新策略

4. 并行处理
   - 实现异步检索
   - 使用多线程并行处理
   - 优化IO操作

## 4. 项目结构 

## 6. 注意事项

1. 确保有足够的GPU内存运行模型
2. PDF文件需要是文本可识别的格式
3. 建议单次处理的PDF数量不要过多
4. 单个文档内容不要超过20000字符
5. 生成时间可能较长，请耐心等待