docs/zh/best_practice/opencompass.md · Ascend/openmind

# 在NPU上使用OpenCompass进行模型评测

OpenCompass是一个LLM评估平台，它提供全面的大模型评测功能，包括广泛的模型支持、高效的评测速度、主观的评测能力、数据污染检查和丰富的长文本评测能力。本教程介绍如何使用OpenCompass第三方套件在npu上对本地模型完成评测。

## 环境配置

### 环境依赖

| 依赖        | 推荐版本                                                                                                     |
|-----------|----------------------------------------------------------------------------------------------------------|
| Python    | [3.10](https://www.python.org/downloads/)                                                                |
| CANN      | 在研版本*   |
| torch-npu | 在研版本*               |
| torch     | [2.6.0](https://github.com/pytorch/pytorch/releases/tag/v2.6.0)                                          |

- *在研版本请联系相关人员获取，获得当前较优的性能。

### 环境准备

基础环境配置请参考 [环境准备文档](../install.md) 的前四个步骤。

```bash
git clone https://github.com/open-compass/opencompass.git
cd opencompass
git checkout -b v0.4.2 tags/0.4.2
pip install -e .
```

同时请安装`2.6.0`版本的`torch`和`torch_npu`。

```bash
pip install torch==2.6.0
pip install torch_npu-2.6.0.dev*-cp*-cp*-manylinux_*.whl
```

接下来，将基于qwen-2.5-7b-instruct模型和gsm8k数据集进行演示。

## 模型准备

可通过带lfs的git 从魔乐社区进行模型下载。

```bash
git clone https://modelers.cn/AI-Research/Qwen2.5-7B-Instruct.git
```

由于模型路径后续会使用到，这里假设下载后模型的位置在 `/model/Qwen2.5-7B-Instruct/`。

## 数据集准备

大部分数据集会随着评测的启动自动下载，部分数据集需要手动下载。可通过`opencompass/utils/datasets_info.py`文件查看数据集下载链接，下载后将文件存在`/root/.cache/opencompass/data/`。本示例使用的gsm8k数据集会由OpenCompass自动下载。

## 启动评测

可通过以下命令查看或过滤当前可用的模型和数据集配置。

```bash
python tools/list_configs.py llama mmlu
```

- 目前已验证的数据集配置包括`aime2024_gen_6e39a4`、`gpqa_gen_4baadb`、`math_500_gen`、`mmlu_gen_a484b3`、`gsm8k_gen`。其他数据集配置以用户使用为准。

可通过以下命令启动评测。

```bash
cd opencompass
python run.py \
    --datasets gsm8k_gen \
    --hf-type chat \
    --hf-path /model/Qwen2.5-7B-Instruct/ \
    --tokenizer-kwargs padding_side="left" truncation="left" trust_remote_code="True" \
    --model-kwargs device_map="auto" \
    --max-seq-len 2048 \
    --max-out-len 4096 \
    --min-out-len 16 \
    --batch-size 32 \
    --max-num-workers 4 
# 为保证代码安全，配置trust_remote_code默认为False，用户需要设置为True，并且确保自己下载的模型和数据的安全性
```

- datasets中可以传入多个数据集，从而一次评估多个数据集。

若有需要，可通过添加`generation-kwargs`参数，使得模型输出具有一定的随机性。

```bash
--generation-kwargs do_sample="True" temperature=0.7 top_k=50 top_p=0.8
```

## 可视化评估结果

评估完成后，评估结果表格将打印如下。

```text
dataset    version    metric     mode       _hf
--------   --------   --------   ------   -----
gsm8k      1d7fe4     accuracy   gen      80.52

```

所有运行输出将定向到`outputs/default/`目录，结构如下。

```text
outputs/default/
├── 20230220_183030     # 每个实验一个文件夹
│   ├── configs         # 用于记录的已转储的配置文件。如果在同一个实验文件夹中重新运行了不同的实验，可能会保留多个配置
│   ├── logs            # 推理和评估阶段的日志文件
│   │   ├── eval
│   │   └── infer
│   ├── predictions   # 每个任务的推理结果
│   ├── results       # 每个任务的评估结果
│   └── summary       # 单个实验的汇总评估结果
├── ...
```

Ascend/openmind
暂停

简介

发行版 (8)

贡献者

语言

近期动态

Ascend/openmind暂停 .gitee-modal { width: 500px !important; }

简介

发行版 (8)

开源评估指数源自 OSS-Compass 评估体系，评估体系围绕以下三个维度对项目展开评估：

贡献者

语言

近期动态

搜索帮助

Ascend/openmind
暂停