[TF-Adapter][哈工大] NPU上训练模型不收敛 npu间歇使用 tf-adapter持续报信息算子溢出

## Environment
- **Hardware Environment(`Ascend`/`GPU`/`CPU`)**: 
-- ascend 910
-- Apulis

- **Software Environment**:
-- Python 3.7.5
-- GCC 7.5.0

## 问题描述

1. 我们在npu上训练时出现不收敛的现象，尤其是有一个loss 往1处收敛，如图1所示；相同的代码，在GPU上训练的收敛程度如图2所示
![NPU](https://images.gitee.com/uploads/images/2020/1111/105132_2fa57320_7907511.png "屏幕截图.png")
![GPU](https://images.gitee.com/uploads/images/2020/1111/124542_28e1e233_7907511.png "屏幕截图.png")
2. 我们检测了训练时npu的占用情况，其呈现波峰式占用，表现异常，如图三所示
![npu占用情况](https://images.gitee.com/uploads/images/2020/1111/124711_d75b574b_7907511.png "屏幕截图.png")
3. 我们在训练的过程中，TF-Adapter不断地报如下的信息：
```
2020-11-09 14:44:03.372754: I tf_adapter/kernels/geop_npu.cc:388] [GEOP] Begin GeOp::ComputeAsync, kernel_name:GeOp3_0, num_inputs:5, num_outputs:2
2020-11-09 14:44:03.372913: I tf_adapter/kernels/geop_npu.cc:260] [GEOP] tf session directa0d226c39e923aad, graph id: 11 no need to rebuild
2020-11-09 14:44:03.373064: I tf_adapter/kernels/geop_npu.cc:580] [GEOP] Call ge session RunGraphAsync, kernel_name:GeOp3_0 ,tf session: directa0d226c39e923aad ,graph id: 11
2020-11-09 14:44:03.373232: I tf_adapter/kernels/geop_npu.cc:593] [GEOP] End GeOp::ComputeAsync, kernel_name:GeOp3_0, ret_status:success ,tf session: directa0d226c39e923aad ,graph id: 11 [0 ms]
2020-11-09 14:44:04.234801: I tf_adapter/kernels/geop_npu.cc:76] BuildOutputTensorInfo, num_outputs:2
2020-11-09 14:44:04.234882: I tf_adapter/kernels/geop_npu.cc:103] BuildOutputTensorInfo, output index:0, total_bytes:4, shape:, tensor_ptr:281449679331968, output281449678673696
2020-11-09 14:44:04.234893: I tf_adapter/kernels/geop_npu.cc:103] BuildOutputTensorInfo, output index:1, total_bytes:4, shape:, tensor_ptr:281449680604352, output281449680936800
```

## 疑问
1. TF-Adapter为什么会在静态图解析完之后还会不断的执行
2. 我们怀疑是不是并不是所有算子都成功下沉到device端执行，是否会有异步执行问题
3. 我们怀疑是精度问题造成的不收敛，但我们使用的精度是默认的“allow_fp32_to_fp16”，未进行额外的设置
4. 为什么NPU的使用呈现波峰状态

[链接](https://gitee.com/ascend/tensorflow/issues/I24S3A?from=project-issue)

Ascend/modelzoo
暂停

内容风险标识

评论 (17)

Ascend/modelzoo暂停 .gitee-modal { width: 500px !important; }

内容风险标识