From 3af4b2cd84768eecb7cd7a197369d2c78437c359 Mon Sep 17 00:00:00 2001
From: geyuhong <geyuhong@huawei.com>
Date: Fri, 7 Mar 2025 17:37:44 +0800
Subject: [PATCH] add_swap_api

---
 .../model_train/model_building/functional_and_cell.md       | 6 ++++++
 1 file changed, 6 insertions(+)

diff --git a/docs/mindspore/source_zh_cn/model_train/model_building/functional_and_cell.md b/docs/mindspore/source_zh_cn/model_train/model_building/functional_and_cell.md
index 6f3b1a89b9..7524259686 100644
--- a/docs/mindspore/source_zh_cn/model_train/model_building/functional_and_cell.md
+++ b/docs/mindspore/source_zh_cn/model_train/model_building/functional_and_cell.md
@@ -225,3 +225,9 @@ Cell name: sequential_block.2, type: <class 'mindspore.nn.layer.activation.ReLU'
 MindSpore采用反向模式的自动微分，根据正向图计算流程来自动推导出反向图，正向图和反向图一起构成了完整的计算图。在计算某些反向算子时，需要用到一些正向算子的计算结果，导致这些正向算子的计算结果需要驻留在内存中，直到依赖它们的反向算子计算完，这些正向算子的计算结果占用的内存才会被复用。这一现象推高了训练的内存峰值，在大规模网络模型中尤为显著。
 
 为了解决这个问题，`mindspore.nn.Cell.recompute` 接口提供了重计算的功能。重计算功能可以不保存正向算子的计算结果，让这些内存可以被复用，在计算反向算子时，如果需要正向的结果，再重新计算正向算子。详见[重计算](https://www.mindspore.cn/docs/zh-CN/master/model_train/parallel/recompute.html)。
+
+### 激活值Swap
+
+MindSpore采用反向模式的自动微分，根据正向图计算流程来自动推导出反向图，正向图和反向图一起构成了完整的计算图。在计算某些反向算子时，需要用到一些正向算子的计算结果，导致这些正向算子的计算结果需要驻留在内存中，直到依赖它们的反向算子计算完，这些正向算子的计算结果占用的内存才会被复用。这一现象推高了训练的内存峰值，在大规模网络模型中尤为显著。
+
+重计算虽然能缓解内存压力，但是会带来额外的计算耗时，导致模型端到端性能劣化。激活值Swap技术可以将正向算子的计算结果从device侧卸载至host侧，并在反向阶段需要使用其参与梯度计算时提前预取回device侧。这一技术能够与计算任务并发，通过将内存拷贝耗时掩盖，来改善重计算场景下的模型端到端耗时。为了达到这一目的，`mindspore.nn.Cell.offload(backward_prefetch='Auto')`接口提供了激活值Swap功能，`backward_prefetch`参数可用于调节激活值预取回device的开始执行时机，能够将Cell类中所有会在反向阶段使用的激活值卸载至host侧。内存在卸载完毕并被释放后，可以被其他数据复用，降低了峰值内存。
\ No newline at end of file
-- 
Gitee