【众智】【西安交通大学】【ID2049】【IEG】NPU训练精度不上升 · Issue #I4K3TM · Ascend/modelzoo - Gitee.com

/ 详情

DONE

Bug-Report

创建于

2021-11-27 21:23

一、问题现象（附报错日志上下文）：
使用11/25日的最新镜像来在npu上面训练IEG，经过第一次训练之后发现模型的loss可以下降，但是精度不上升。怀疑是算子溢出导致的。所以进行了第二次训练收集算子溢出日志。

二、软件版本:
--Tensorflow版本:1.15
--Python 版本:Python 3.7.5
三、测试步骤：
使用modelarts再次运行了1000多个batch，收集了算子溢出的日志。
四、日志信息:
这是第一次训练时的日志信息，该日志是程序里面加入的打印的训练时的loss和acc。可以看到acc一直处于0.1左右。
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sO/VoEQjcqMQBBvLNzASd/WC57mWIoqDz/EqQ1DCAReJCBCocieq5R9JHoXiZicOPaDkw/7Xfezugfv6GTI3V+yBLHVuhVV4VeCc93uBI6xZfIOFQ1iGYu47AXP9WuEB0OY6/2o+P3miMSh6s058aABi6D1Jq3awTr/HkbwMcLVRiJ8gT3oFgaUcPJ53B5rKGWmvCGP4cCAN1pRb5ZlF5ksfeeCsxHvK0y/zzsn9GUO2aw5YMCF+jzLWXYt4I2rIMY0UCw7N1ZCXCP05auqaxWJtIxK/yntNQkdg0pfFAYXanbbwPzwnwHEJ/XRAoafo6qd0eweNmtG2CHW5YgTXkuF
提取码为jkluio
这是第二次训练（为了收集算子溢出日志进行的训练），收集的算子溢出日志：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sMh+lwO/ZgpW/KnjhKVF3ntUick3MH7owjEVQKsw9r1Uu9oejF82/MQy3JMbI/KUqRkoiT21+ky7qPfSl9SyVWsS8KRz+Z1R69PsNTns3/5BSDhsMAKQXIKwg+X/g+EGuFJGEueqQ5aHFiyKI6+9Yx6nPg8HRgxPUtIquRo+ASE5cpoAjKkOxTCfyC2ToSkzeRLMpR5RdHWqylDt1gUbJ+5rG6x0g87VdmBX8vSDK6tZxiI6VmSm6zwBJySTVS/GcR8r4jaUsFyIrM2xFQecPeJL+HJ4LM0owboN0O+AQ85Iw==
提取码：jkluio

一、问题现象（附报错日志上下文）：
使用11/25日的最新镜像来在npu上面训练IEG，经过第一次训练之后发现模型的loss可以下降，但是精度不上升。怀疑是算子溢出导致的。所以进行了第二次训练收集算子溢出日志。

二、软件版本:
--Tensorflow版本:1.15
--Python 版本:Python 3.7.5
三、测试步骤：
使用modelarts再次运行了1000多个batch，收集了算子溢出的日志。
四、日志信息:
这是第一次训练时的日志信息，该日志是程序里面加入的打印的训练时的loss和acc。可以看到acc一直处于0.1左右。
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sO/VoEQjcqMQBBvLNzASd/WC57mWIoqDz/EqQ1DCAReJCBCocieq5R9JHoXiZicOPaDkw/7Xfezugfv6GTI3V+yBLHVuhVV4VeCc93uBI6xZfIOFQ1iGYu47AXP9WuEB0OY6/2o+P3miMSh6s058aABi6D1Jq3awTr/HkbwMcLVRiJ8gT3oFgaUcPJ53B5rKGWmvCGP4cCAN1pRb5ZlF5ksfeeCsxHvK0y/zzsn9GUO2aw5YMCF+jzLWXYt4I2rIMY0UCw7N1ZCXCP05auqaxWJtIxK/yntNQkdg0pfFAYXanbbwPzwnwHEJ/XRAoafo6qd0eweNmtG2CHW5YgTXkuF
提取码为jkluio
这是第二次训练（为了收集算子溢出日志进行的训练），收集的算子溢出日志：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sMh+lwO/ZgpW/KnjhKVF3ntUick3MH7owjEVQKsw9r1Uu9oejF82/MQy3JMbI/KUqRkoiT21+ky7qPfSl9SyVWsS8KRz+Z1R69PsNTns3/5BSDhsMAKQXIKwg+X/g+EGuFJGEueqQ5aHFiyKI6+9Yx6nPg8HRgxPUtIquRo+ASE5cpoAjKkOxTCfyC2ToSkzeRLMpR5RdHWqylDt1gUbJ+5rG6x0g87VdmBX8vSDK6tZxiI6VmSm6zwBJySTVS/GcR8r4jaUsFyIrM2xFQecPeJL+HJ4LM0owboN0O+AQ85Iw==
提取码：jkluio

创建了Bug-Report

修改了描述

原值

一、问题现象（附报错日志上下文）：

使用11/25日的最新镜像来在npu上面训练IEG，经过第一次训练之后发现模型的loss可以下降，但是精度不上升。怀疑是算子溢出导致的。所以进行了第二次训练收集算子溢出日志。

二、软件版本:

--Tensorflow版本:1.15

--Python 版本:Python 3.7.5

三、测试步骤：

使用modelarts再次运行了1000多个batch，收集了算子溢出的日志。

四、日志信息:

这是第一次训练时的日志信息，该日志是程序里面加入的打印的训练时的loss和acc。可以看到acc一直处于0.1左右。

https://lwr-npu.obs.cn-north-4.myhuaweicloud.com:443/outlogs/second/trainlogs.txt?AccessKeyId=1N3VEFQJ3GOMKZ5XG414&Expires=1669123199&Signature=1xcPI%2BccokbjeFyteqAlBj0CpNA%3D

这是第二次训练（为了收集算子溢出日志进行的训练），收集的算子溢出日志：

https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sMh+lwO/ZgpW/KnjhKVF3ntUick3MH7owjEVQKsw9r1Uu9oejF82/MQy3JMbI/KUqRkoiT21+ky7qPfSl9SyVWsS8KRz+Z1R69PsNTns3/5BSDhsMAKQXIKwg+X/g+EGuFJGEueqQ5aHFiyKI6+9Yx6nPg8HRgxPUtIquRo+ASE5cpoAjKkOxTCfyC2ToSkzeRLMpR5RdHWqylDt1gUbJ+5rG6x0g87VdmBX8vSDK6tZxiI6VmSm6zwBJySTVS/GcR8r4jaUsFyIrM2xFQecPeJL+HJ4LM0owboN0O+AQ85Iw==

提取码：jkluio

新值

一、问题现象（附报错日志上下文）：

使用11/25日的最新镜像来在npu上面训练IEG，经过第一次训练之后发现模型的loss可以下降，但是精度不上升。怀疑是算子溢出导致的。所以进行了第二次训练收集算子溢出日志。

二、软件版本:

--Tensorflow版本:1.15

--Python 版本:Python 3.7.5

三、测试步骤：

使用modelarts再次运行了1000多个batch，收集了算子溢出的日志。

四、日志信息:

这是第一次训练时的日志信息，该日志是程序里面加入的打印的训练时的loss和acc。可以看到acc一直处于0.1左右。

https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sO/VoEQjcqMQBBvLNzASd/WC57mWIoqDz/EqQ1DCAReJCBCocieq5R9JHoXiZicOPaDkw/7Xfezugfv6GTI3V+yBLHVuhVV4VeCc93uBI6xZfIOFQ1iGYu47AXP9WuEB0OY6/2o+P3miMSh6s058aABi6D1Jq3awTr/HkbwMcLVRiJ8gT3oFgaUcPJ53B5rKGWmvCGP4cCAN1pRb5ZlF5ksfeeCsxHvK0y/zzsn9GUO2aw5YMCF+jzLWXYt4I2rIMY0UCw7N1ZCXCP05auqaxWJtIxK/yntNQkdg0pfFAYXanbbwPzwnwHEJ/XRAoafo6qd0eweNmtG2CHW5YgTXkuF

提取码为jkluio

这是第二次训练（为了收集算子溢出日志进行的训练），收集的算子溢出日志：

https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sMh+lwO/ZgpW/KnjhKVF3ntUick3MH7owjEVQKsw9r1Uu9oejF82/MQy3JMbI/KUqRkoiT21+ky7qPfSl9SyVWsS8KRz+Z1R69PsNTns3/5BSDhsMAKQXIKwg+X/g+EGuFJGEueqQ5aHFiyKI6+9Yx6nPg8HRgxPUtIquRo+ASE5cpoAjKkOxTCfyC2ToSkzeRLMpR5RdHWqylDt1gUbJ+5rG6x0g87VdmBX8vSDK6tZxiI6VmSm6zwBJySTVS/GcR8r4jaUsFyIrM2xFQecPeJL+HJ4LM0owboN0O+AQ85Iw==

提取码：jkluio

展开全部操作日志

再分享一下第一次训练时的modelarts控制台的输出日志：

https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEf0r01bCDHB+It8bkxPm+sNPObjzyr0W2X3QlHt2qWTQPOmsnJSBR+U1WbuSj4dK3UG3NhiQ0dVtrwzlfwkg2lmaQ0AJHM6CQmYA3K3TGa2JPf3NXjVkjSFS66puB9ZPhR0G95oc5oxejnpj+/SDDd4y7q8qHRrRGQtbw1Yvux8Gq9oifR822Rqegvs3xGOOWMHuCyWDIsQad8VNnD0evkAOlxOQbwqBcxsMbiozIWP1TvUmZpyWHo7VV0w/A7m2P+RZAZ3rmhFU6wlzO4svgDG90O/GY6t70xcgiGuL7Nj26Brk/Fu4XdZa5gDsuZuL9l/26auP2R1ygnB2/8Lt3XpRJYycAfdl/lf/PqmAG3YXbybyCHomjXFbMKiQc5z8Z0Xum6r7GdylwEZenrRwJ9CCAp//ISsg+tHpB6eCl9Ls1OHFI7o1zxpSIHNvJrQDw4bJLOlMPRzY7dP3ujKcdMW4gWGXaYZYwxEnddxfDW00
提取码为jkluio

训练时并没有开启混合精度和融合规则。

将任务状态从 TODO 修改为Analysing

将负责人设置为张晓龙

尝试一下开启loss scale呢
https://support.huaweicloud.com/tfmigr-cann504alpha1training/atlasmprtg_13_0038.html

我看这个loss scale是在开启混合精度的情况下开启的。我本来就没有开启混合精度，请问还要开启loss scale吗？

您好，尝试开启loss_scale后，遇到如下报错。
tensorflow:Error reported to Coordinator: 'NPULossScaleOptimizer' object has no attribute '_non_slot_dict'
详细日志如下：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pER9QSwg6bSwaXxPb+dDWbbZ6pzJb+1aL4rzkShw25OlWuGqRVTrs7PVxHgNlpv1+j7LS6NMNu/XJHVKpAwSYXUz8Tne+Rx5woOkwTVwsOy7PvDkRIj20YWvsqHehYXNsez3H64Tpitfe32+tlgu4UXaLdHKvkBgVjbpTyLax++D1u1QkRo4iTeq2ruaF8pHZ5idK39aTCYxNwJG76wDcwpfGsqewP4/ZLqmHI5Yvy4sTQkIAXUmFLKfD3sgwur/Sln2UUI2jsEG/6sunwMmUONDGpMtdK1aajWnjzMe3mTvw1vaA2Gar7eUlyV9QMQ4n2HHE4tRQth5QfqlnhudZwLhm5jO7h/y50Xp3CvQv3DcoaOLPx/EITJu8R/DwAEMN6D9MpdX8gyXSJgy8iM8ZQ8RHjI4BOUZj1WuaJ6SCc6e4+ufewrRJExG/8RBlfT6L/fyDN0NHUlMF1d02BTCHqXVtsAD1RvarE9fB080DW8nIdbz/tql+aWB4VQ2aE/kcow==
提取码为jkluio

目前还在考虑模型不收敛是不是自动迁移过程中分布式策略选择的问题，目前尝试将分布式策略改为tf_strategy,运行但是报错。
日志链接：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pESSchS9vjSgWgrAzs/84C1tstdgOf3X+xrd5R1c1peoLMAO3njPbEhcXyjnnL1ZjBtjbzrA8b7GQ6iwgJ3qCaE0X1PyvahWxDIqWe4EJRW8VlZJnSHYVKR9cQr45OKgoPp0qJq25cKoANW8v1SFIKtyzr21qNw38TNnNcOxrT6lEZvM5nTsE8wsZPEp9uKb3A7eMlb9myWrwWtSq9faNSH4CZKf8Mxac2YaSAwbBGpS/tlq8y0xbYEuTllkABONxmCkTnrdaCsBkHaMcgpJSMWzyGKfytir9W4B2IipQovMtX8c6gLB3gW7D+oOQrTFCMDD7JdT5awxBSu8+HIBqTTM3gdmks7h3F3o6nbCHvbwaKAVWQc4NltiMmJCHtwO6qIpNTj8pfv4p6QP5T/8JanDG/W/ZsVNor2OieZnuZMOD4RwAJ8gRXbe0C1D5z9yd5oN3jRvnbm+zPv9Mq4x3qepoDS5ey+U1TqXrNL9qXQqe
提取码:jkluio

补充上一条的回复，代码里面的optimizer是tf.train.MomentumOptimizer

将负责人从 张晓龙 修改为未设置

添加协作者张晓龙

将负责人设置为hanfuwei

还请issue附上网络脚本、数据集等OBS链接

代码文件分享：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEU6F6ENeq7h5y6pZnZIsqUMcj1l1S89vxX1d2G17s8U39FDl08ptzkrq4/5Xp0ZMmUrPen7QKQJgaMq6o4N84JYAsR4qKo3XRGZ3oZqbpbx3aaSDH/tY6heOBVCXJZ+ZMy3IpBm+ZDPtkZpz+IPEA3J0/FPFOWKA02TUkh8dFz/RBEJ2DR7geoYZ2c5gf6cEJA+SlX91k9cmxLgUL+6dC36rcvT4vs5YVZXjep2OxZ6xYaWMgOd0XujaFx8gklGMeUiMkLLCP4DG/GuST2pHSQ8LDqbNuRo+hDwmdti7ZExXYqF4mnk41OzmV+UHX91WV5BQ9WSIrE36lYeXXMknpWdsLAylQxu+t2tSrQmxH/iHeWfPaIDDJ7Mt6vJ1u9cK87fUlvqhSP6wt+9k9rT39ZDLnGAH6nWZrTtWGXe2CRWhFrTtWJ+E7mgBq21x40pfYUgpYlEGzdXaoUf6gcmSQI5B6lHui6UuMHtmbMWqeVk0uqBFq9GqfrckvMpoDUPZeg==
提取码：jkluio
数据集文件分享
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEU6F6ENeq7h5y6pZnZIsqUOPSzC/ZBjgn8Tq4ipMCLLdRH8Bxf7X99MEwUk4Ml0N+J7anRzQZ1VoGouk/tl0mT2LcnzbU+/yjWfmlTqfTfZSsbX6qwh1PloDUx52o06XyzdsCy7/Fvf9S2x5ZpDphcEVPAdklNzJzz28NmrdVGtBWYvzrOuiG79GgELDns7UWQTOwUmy8Xs7M9Ihqs4qdaH+1S6ezt4q8NnEPxYpQGoiiGINU2SrS1/mev23ZioGm/8FAXQ29ICveiILc0zapFxyNiADLfP3fvLbfVoaOB2tqhU/fUlzYgulUdrhCjDUqV4DW6O/q4xpa4JNpnIzd19uj8GmhsTrPAZR+pajQgLyFhXoHTt0Jv1g+PXy6LDtFQ==
提取码：jkluio

更改代码链接：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pERS6OgztmfGYPSmC2d+gX5Dj6WmrMDphXvKsRlBihpYAhjANVF4SncsK23yrU70GgeVHUC4a0UBXy37y9TfUUDC6akrIkyvDqzYdKfzvDTMW/mYczJ8bdNY4YkHfFsBlnkXMil+KPZoJen966/AJKZ/ccPZEo3K2eBjtCv70nDm0rO1V5hJuOWoAj1uWMXvMzI1BbfjCDRtW9rT/3ntXSpzQFg7iLXKWrQ4zj1jTbx7EnnG5h4ABGbnLzpWHTs7RFPNDzO8GQmp3zXKx4y84oZj4Sz3tO7YjUwNXNtxlQPVkSlXcFW1gkUhXJthyLyqHK3j0IN27AeqnCAaxsAjYZlnKdid7rbDPB9ORfpYKL8v7V/PpRVfPWf746268reZAQC2eRmPXVuZFr3Raq6Ly5U+x21v721kIopcdHi0ZGFFMigNMM7FtUfsU6qnUCpMzbxH8DlMWvmrQSeJYxziWZMK6o7V/98bwy2UwNzIBY2qX
提取码：jkluio

dump的gpu版本的数据：
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=9+oeih3dqGpApwz5L7XYTqTCYMrcTkKBu8+Efrtzc+RsGPST4Aa9rpHCh/i/lxbFwG1uRfzaBHhOTdFlIQWK07bEoyCkT+sVskU6duKZ95SA9bXhKGMU0M/BhnGXM2HIPLF0h5ta9fm+nVRIT9BhupzLpMTHhfWALsG47jVR7Uoah4eJP5Hu6BJ4svju2P+uEdvI9D6WsJH7xEpmP08pEfkIzhyHvJ1GNB7tPCiYwlYpsAAzKoMWnMbo7QIs/FY9lqOLKAey/rwJ3nRQm4myppHn/W3gAhmft09T4dnGvY6jdOCr5b/Nmkqh3OTkwozS6nGcC0azcNsAd7RXCXEZPe+wZzq+XSOhgOEC4NOChXEWmkB0vgKg+2opkCbN1pXv+VpabJIATYr3+O3pOqVZlXWVl0U9la3kvN0YWajyQjvV+IujGVwq8RM+shJk3PTKwQV4hMBc10GiGbBGzYDYGA5quhbnAJwlnVqfec0nUGRlNRqWn+j8bzY9C2PHlrxrGwcOlK+j1n7itnhkt1Gf9g==
提取码：jkluio

添加协作者hanfuwei

将负责人从 hanfuwei 修改为wangxingzhen

取消协作者hanfuwei

修改了标题

已联系同学使用precision-tool进行溢出分析及定位。待反馈结果

将关联仓库从 Ascend/modelzoo-his 修改为Ascend/modelzoo

溢出的算子不用工具直接看溢出数据的数据名就能找到，请把溢出的算子加入到黑名单后再跑下精度试下

将InTopKD放入黑名单后loss直接爆炸，已让学生把溢出检测LOG再附上来

数据和代码在obs上的路径如下：
数据：obs://lwr-npu/data/
代码：obs://lwr-npu/iegluojidump/

分享一下七个月前尝试开启loss_scale后，遇到如下报错的日志。
tensorflow:Error reported to Coordinator: 'NPULossScaleOptimizer' object has no attribute '_non_slot_dict'
日志地址：obs://lwr-npu/MA-new-ieg_npu_20211015224157-12-06-14-44/log/

这个功能报错请用最新版本的镜像跑一下看错误是什么

将负责人从 wangxingzhen 修改为yangyongqiang

此问题新版本已解决，issue关闭；请验证，如有后续问题提新issue

将任务状态从 Analysing 修改为DONE

登录后才可以发表评论

状态

负责人

项目

里程碑

Pull Requests

关联的 Pull Requests 被合并后可能会关闭此 issue

分支

开始日期 - 截止日期

-

置顶选项

优先级

预计工期（小时）

参与者（6）

1

https://gitee.com/ascend/modelzoo.git

git@gitee.com:ascend/modelzoo.git

ascend

modelzoo

modelzoo