adaptive_save_ckpt_br_base_innovation · Pull Request !89235 · MindSpore/mindspore

1. adaptive_save_ckpt_br_base_innovation
---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind feature

**What does this PR do / why do we need it**:
# Adaptive_Save_Checkpoint 设计文档

## 1. 特性概述

### 1.1 需求来源及价值概述
在网络训练过程中，检查点保存是确保训练容错性的重要机制。传统的固定间隔保存策略无法适应不同训练阶段的性能特征，可能导致：
- 训练初期过度频繁保存，影响训练效率
- 训练后期保存间隔不当，影响容错能力
- 无法根据实际硬件性能动态调整

自适应保存ckpt可以结合训练时的故障信息动态计算当前及群的故障频率；通过平衡训练时的Checkpoint保存开销和故障恢复时数据恢复开销计算最优保存频率以最大化有效训练时间占比。

## 2. 详细设计

为用户提供三种自适应保存方式:
- 方式一：固定的保存ckpt开销占比，计算保存间隔；
- 方式二：根据故障率、保存耗时、恢复耗时，按照公式计算的最优保存间隔保存ckpt。
- 方式三：前期没有故障率的时候，采用方式一；集群故障之后，得到故障率之后，采用方式二。

### 2.1 配置类设计

#### AdaptiveCheckpointConfig

AdaptiveCheckpointConfig新增以下参数：

| 参数 | 类型 | 默认值 | 说明 |
|------|------|--------|------|
| `target_overhead_percentage` | float | None | 目标检查点开销百分比 |
| `failure_rate` | float | None | 预期故障率 |

```python
# `target_oaverhead_percentage` 和 `failure_rate` 不能同时设置
AdaptiveCheckpointConfig(
    target_overhead_percentage=None,
    failure_rate=None,
    **kwargs,
)
```

### 2.2 不同策略设计

#### 2.2.1 固定保存保存ckpt开销占比

动态调整保存检查点的间隔，控制检查点保存开销在目标百分比内。

**策略逻辑**：
```python
scaled_checkpoint_time = 100 * avg_checkpoint_time / self._config.target_overhead_percentage

numerator = scaled_checkpoint_time - avg_checkpoint_time
new_interval = numerator / avg_step_time
```

#### 2.2.2 根据故障率自动调整保存间隔

基于故障率、故障恢复成本和检查点保存开销，得出最优的保存间隔。

**策略公式**：
```
optimal_interval = math.sqrt(2 * avg_checkpoint_time / (self._config.failure_rate * avg_step_time))
```

## 4. 使用示例

```python
from mindspore.train.callback import AdaptiveModelCheckpoint, AdaptiveCheckpointConfig

# 3% 保存ckpt开销占比
config = AdaptiveCheckpointConfig(
    save_checkpoint_step=1,
    target_overhead_percentage=3,
    failure_rate=None,
    ...,
)
# 5e-6 集群故障率
config = AdaptiveCheckpointConfig(
    target_overhead_percentage=None,
    failure_rate=5e-6,
    ...,
)

adaptive_ckpt = AdaptiveModelCheckpoint(
    prefix="large_model",
    directory="./model_checkpoints",
    config=config
)
```
## 5. 用例设计
# AdaptiveCheckpoint测试用例功能表格

| 测试用例名称 | 看护功能 | 测试元素 | 预期结果 |
|-------------|----------|----------|----------|
| `test_adaptive_checkpoint_config_basic` | AdaptiveCheckpointConfig基础功能 | 配置创建、参数验证、属性检查 | 成功创建配置对象，正确设置属性值 |
| `test_adaptive_checkpoint_config_validation` | AdaptiveCheckpointConfig参数验证 | 无效参数输入、边界值检查 | 对无效参数抛出相应的ValueError异常 |
| `test_adaptive_model_checkpoint_basic` | AdaptiveModelCheckpoint基础功能 | 检查点创建、配置设置 | 成功创建检查点对象，正确初始化配置 |
| `test_adaptive_model_checkpoint_validation` | AdaptiveModelCheckpoint参数验证 | 无效配置类型、缺失必要参数 | 对无效输入抛出TypeError或ValueError |
| `test_adaptive_checkpoint_percentage_mode` | 百分比模式自适应功能 | 基于开销百分比的间隔调整 | 成功保存检查点文件，间隔能够自适应调整 |
| `test_adaptive_checkpoint_failure_rate_mode` | 故障率模式自适应功能 | 基于故障率的间隔计算 | 成功保存检查点文件，使用故障率公式调整间隔 |
| `test_adaptive_checkpoint_keep_max_integration` | 文件数量管理集成 | keep_checkpoint_max与自适应功能结合 | 维持最大文件数量限制，正确删除旧文件 |
 
**Which issue(s) this PR fixes**:

Fixes #

**Code review checklist [【代码检视checklist说明】](https://gitee.com/mindspore/community/blob/master/security/code_review_checklist_mechanism.md)**:

+ - [ ] 是否进行返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值，C++标准库函数确认无问题可以屏蔽)
+ - [ ] 是否遵守 ***SOLID原则 / 迪米特法则***
+ - [ ] 是否具备UT测试用例看护 && 测试用例为有效用例 (若新特性无测试用例看护请说明原因)
+ - [ ] 是否为对外接口变更
+ - [ ] 是否涉及官网文档修改

GVP MindSpore/mindspore

发现个问题

GVPMindSpore/mindspore

搜索帮助

GVP MindSpore/mindspore