pytorch-train-guide/固定动态shape范例文档.md · 王姜奔/AscendPytorchCrowdintelligenceDevdoc

# 固定动态shape范例文档

### input类修改固定shape

- 因存在多尺度训练或不定数量目标检测场景，input和target导致的动态shape是非常常见的一种

1. input动态shape
```python
# 例如我们非常很常见的，保持图片ratio进行长边缩放的场景
import cv2
import numpy as np

H = 618
W = 733
target = 800

# 生成随机图像
img = np.random.randint(0, 255, (H, W,3), dtype=np.uint8)

# 计算长边缩放比例
rh = target / H
rw = target / W
r = min(rh, rw)
img = cv2.resize(img, None, fx=r, fy=r)

# 这种情况下，我们常见的做法是
cave = np.zeros((target, target, 3), dtype=np.uint8)
cave[:int(H*r),:int(W*r), :] = img

# 显示图片
cv2.imshow('img', img)
cv2.imshow('cave', cave)
cv2.waitKey(0)
```

2. 对动态长度的target进行补齐
```python
# 例如gt_bboxes是一个不定长的Tensor,每张图片有多少目标检测框是不定长的，我们将其补齐

# 设置MAX_LEN
MAX_LEN = 128

for idx,i in enumerate(gt_bboxes):
    gt_bboxes[idx] = gt_bboxes[idx].float()
    num_gt = i.shape[0]
    gt_bboxes_zero = torch.zeros(MAX_LEN,4).float()
    maxindex = min(num_gt, MAX_LEN)
    gt_bboxes_zero[:maxindex]= gt_bboxes_zero[:maxindex] + gt_bboxes[idx][:maxindex]
    gt_bboxes[idx] = gt_bboxes_zero

for i in gt_bboxes:
    print(i.shape) # 128
```

### 计算类修改固定shape

- 计算类修改固定shape常见于loss计算，其核心逻辑在于将取切片相关操作转化为乘法操作，有以下几种常见的场景

1. 部分取值后的sum
```python
# 原始代码
a = torch.tensor([1, 2, 3])
b = a > 1 # [False, True, True]
c = a[b]  # [2,3]
loss = c.sum() # 5

# 修改代码
a = torch.tensor([1, 2, 3])
b = a > 1 # [False, True, True]
c = a * b  # [0,2,3]
loss = c.sum() # 5
```

2. 部分取值后的mean  
```python
# 原始代码
a = torch.tensor([1, 2, 3])
b = a > 1 # [False, True, True]
c = a[b]  # [2,3]
loss = c.mean() # 2.5

# 修改代码
a = torch.tensor([1, 2, 3])
b = a > 1 # [False, True, True]
c = a * b  # [0,2,3]
loss = c.sum()/b.sum() # 2.5
```

3. 部分赋值后的操作
```python
# 原始代码
a = torch.tensor([1, 2, 3])
c = torch.tensor([2, 3, 4])
b = a > 1 # [False, True, True]
c[b] = a[b] + 1  # [2,3]
d = c.sum() # [2, 3, 4].sum()

# 修改代码
a = torch.tensor([1, 2, 3])
c = torch.tensor([2, 3, 4])
b = (a > 1).float()  # [False, True, True]
c = c * (1.0 - b) + (a + 1) * b  # [2, 0, 0] + [0, 3, 4]
d = c.sum()  # [2, 3, 4].sum()
    
```

4. 重复索引取值
```python
# 原始代码
a = torch.tensor([1, 2, 3])
b = torch.tensor([2, 1, 1, 2, 3, 3, 1])
c = a[b - 1]  # [2, 1, 1, 2, 3, 3, 1]
d = c.sum() # 13

# 修改代码
a = torch.tensor([1, 2, 3])
b = torch.tensor([2, 1, 1, 2, 3, 3, 1])
c = a.index_select(0, (b-1.0).long()) # [2, 1, 1, 2, 3, 3, 1]
d = c.sum() # 13    
```

##### 计算类修改固定shape样例，以FCOS网络为例

对于动态shape问题，在输入数据尺寸是固定的前提下，每个batch的动态变化主要在计算loss处产生，比如对于检测类问题，每幅图像预测出的目标框的个数是会动态变化的，因此我们可以从计算loss这部分代码开始分析。以fcos模型为例，进入loss函数后我们对于“可疑”变量，也就是说可能发生shape变化的变量，依次打印其value和shape等信息，观察每个step的shape是否一致。<br>
![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape01.png)

对比前后step的打印信息，观察shape发生变化的变量

step1：

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape02.png)

step2：

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape03.png)

找到这个变量在代码中的位置，理解代码逻辑，分析shape变化的原因，并思考如何在不改变语义信息的前提下固定住这个变量的shape，让它在每个step不再动态变化

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape04.png)

框出的代码实现的功能主要是取出bool数组中为True的index，而每个step中pos_index数组中True的索引值是会改变的，我们可以把这个bool数组转成一个0、1数组，使用与mask矩阵做元素乘的方式代替原来取索引值的方式。
在替换之后，原来相应的使用到这个变量的地方都需要做修改，并确保修改前后的语义保持一致。

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape05.png)

例如，我们可以使用上面的代码分别实现将bool数组转成0/1数组以及计算原始bool数组中取值为True的元素个数的功能。

另外，原来使用索引值取元素的操作也都需要修改，可以在原来每次使用pos_inds索引取元素的地方都改成与pos_mask做元素乘。但是这样与mask矩阵多次做元素乘会增加矩阵乘法的计算量。为了提高性能，这里将统一在在最后输入loss函数之前与mask矩阵做一次乘法操作。

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape06.png)

修改为

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape07.png)

也就是说在计算loss之前变量都使用固定shape的形态。在最后传入loss时再乘以mask矩阵。

注：下面介绍对原先使用索引值的修改方式，为了减少计算量，只在最后传入loss函数时使用mask矩阵，若是不太理解这种做法可以对照原始代码，在每次取索引时都使用与mask矩阵相乘代替。

![](https://gitee.com/wangjiangben_hw/ascend-pytorch-crowdintelligence-doc/raw/master/figures/dynamicshape08.png)

固定shape之后可以加打印观察一下是否这些变量的shape在每个step还有变化，并且检查一下是否还有重复编译的问题。

王姜奔/AscendPytorchCrowdintelligenceDevdoc

About

Releases

Contributors

Language(Optional)

Activities