# 2025-cyf-hw2

**Repository Path**: gpuap/2025-cyf-hw2

## Basic Information

- **Project Name**: 2025-cyf-hw2
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 238
- **Created**: 2026-01-25
- **Last Updated**: 2026-01-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 2025年秋季国科大《GPU架构与编程》大作业二说明文档

本项目是2025年秋季国科大课程《GPU架构与编程》大作业二的说明文档，旨在对本次作业完成情况做一个大体的解释。本文档主要分为四个部分：项目结构、数据集准备、微调大模型、测评。


## 项目结构

- `FakeDockerfile`: 用于构建的配置文件,但是这个是假的，因为摩尔线程的评测机是容器实例，没有办法再创建容器了，这里的FROM并不是拉取容器镜像。**请不要修改此文件的 EXPOSE 端口和 CMD 命令**。
- `serve.py`: 推理服务的核心代码。我们修改了相关代码使得模型支持batch推理，从而大大提升了推理速度。
- `requirements.txt`: Python依赖列表。您可以添加您需要的库。
- `.gitignore`: Git版本控制忽略的文件列表。
- `download_model.py`: 下载权重的脚本。
- `train.yaml`: 展示了模型微调时的主要参数。
- `README.md`: 本说明文档。

## 数据集准备

我们的作业要求自行准备数据集。对于基础题的数据集，我们采用了老师公布的一百道样例；对于加分题数据集，我们通过deepseek大语言模型，对书本上考察内容生成了500道问答对，并将其与老师公布的90多道加分题样例进行拼接，形成最终的加分题数据集。

## 微调大模型

本人选择在并行赛道提供的算力平台上，使用5090的GPU进行模型的训练任务，通过llama-factory工具对大模型进行lora微调，原始大模型选用llama3.2-3B-instruction，微调的参数如文档train.yaml所示。训练结束后，将微调后的大模型上传至modelscope社区，以备测试时下载使用。

## 测评

测评的项目链接为：https://gitee.com/sunset-shimmer-chen-yifei/mthreads-demo.git。（即本项目）
项目中各代码功能如下：
download_model.py负责从modelscpoe上下载训练后的大模型；
serve.py则负责启动测试程序；
fakeDockerfile负责在摩尔测评机器上创建合适的环境；
Requirements.txt负责在项目之初下载必要的环境依赖；
train.yaml展示了模型微调时的主要参数。
对原始测评项目的代码改动主要发生在文件serve.py中，我们修改了相关代码使得模型支持batch推理，从而大大提升了推理速度（主要是根据汪晓峰同学提供的测试指南修改的）。