【众智】【西工大】Aggregation-Separation模型训练慢

一、问题现象（附报错日志上下文）：
模型初始化图就需要5个小时，在模型训练时，平均一item要跑6s，而在CPU上一个item只需要5s。
NPU上一个item所花时间

CPU上的一个item所花时间

二、软件版本:
-- CANN 版本 5.0.2:
--Tensorflow 版本:1.15
--Python 版本 :3.7

三、测试步骤：
xxxx

四、日志信息:
日志链接：
链接：https://pan.baidu.com/s/1zT1i7N4KQfV7XbiZ5HHVjQ
提取码：xelb
有效期：30天

数据集链接：
URL:链接

提取码:
123456

有效期至:
2021/11/25 05:02:06

迁移后代码链接：
链接：https://pan.baidu.com/s/1PY-3CHle_J_Z_mfLOY2-RA
提取码：ohbz
有效期：30天

数据集的百度云链接：https://pan.baidu.com/s/1IKFPbz09YVA4fj1Q7jaP8w
提取码：3myc
有效期：30天

你好，我们需要收集profiling数据
按照如下参考，收集一下profiling数据信息呢。
https://support.huaweicloud.com/tfmigr-cann504alpha1training/atlasmprtg_13_0040.html

麻烦附上OBS链接，另附网络脚本及数据集OBS链接

在图初始化时出现以下错误导致模型无法训练，无法产生profiling数据
time="2021-12-15T13:13:43+08:00" level=error msg="upload obs file err: upload object with error: open /home/ma-user/modelarts/log/modelarts-job-835fbd71-642f-4ffe-9017-7a0c6967d9e4/ascend/process_log/rank_0/plog/plog-85_20211215131226638.log: no such file or directory, fileName=modelarts-job-835fbd71-642f-4ffe-9017-7a0c6967d9e4/ascend/process_log/rank_0/plog/plog-85_20211215131226638.log, size=20575694, authLenth=62" file="upload.go:143" Command=obs/sync_by_channels Component=ma-training-toolkit Ctx=log_url Platform=ModelArts-Service

代码obs链接：
URL:
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=Is7mtU1RozpCm46vAwq2WEa6IuZdR+dy/1ntb6I/XHDqPJv5KTAp4RhFY7A/hfybD/pycFCv2OF8SrbVk7FTUXpQO8WFXqavqnj0GUhrkUGY+791NpbWyIDpwpHiqiLVUZxnqG/NWsLbcpC7t+ID7SfIe2WXVVnvM+hn+n8RSrgUwX8No+2I6x7VvOt7KOeu4v73mEIQcSEPuf/PODuzkUuOByNfr9tEhsG7ADjmYygtkvu5IOdg5+cfG2ny/xWjmPsuugduZXvpI6r0Y0g4nm7LkdeieZOYqy2fmj9y6qOJA6fsq0/pRxpE6MHL4Etcx6Zrrgn+QTP5fajz8ayUE2AupyhjWyWvGMhVxFPUYKUYrcxJZtx1BeSA26ukInHqW5AgIPuFY9pDMFaBj1soUDI/ke250+J1d6rqzLrzS+SadZ9of8dtNPH4FZyyfzyqtkoJkkQ7uceGodr3Jdad2+XKxKtafdJf3VkGkO8sGjeLoO85SBuKa4kADdmT0MQFzk7RuAW9B8tK/kPlA33Gb75jfHIwfpCOd/E6JH3JgKn/S5HucR+OcYIE0tiSsgCuVKBAUZDbp/11GGvzK+8LMo8ijFLVrbsQvCMFiJ4ju0B1AVyXlf19V/SkV1XjL8UB

提取码:
123456

*有效期至: 2022/06/14 11:04:53 GMT+08:00
数据集OBS链接：
URL:
https://e-share.obs-website.cn-north-1.myhuaweicloud.com?token=Is7mtU1RozpCm46vAwq2WEa6IuZdR+dy/1ntb6I/XHDqPJv5KTAp4RhFY7A/hfybD/pycFCv2OF8SrbVk7FTUXpQO8WFXqavqnj0GUhrkUGY+791NpbWyIDpwpHiqiLVUZxnqG/NWsLbcpC7t+ID7SfIe2WXVVnvM+hn+n8RSrgUwX8No+2I6x7VvOt7KOeu4v73mEIQcSEPuf/PODuzkUuOByNfr9tEhsG7ADjmYyjMCzbY17w0dgvOn5XP+DVzzSWnp8CA4Zno06KquYXTquTPXWZU9eP6xMhQj/t6Zo/lsmSGyu9WSv6P4hwuknIO/AxM5mQwBTaq256E+0CdSRiU9LiVRfmXlRTSB+Ekd52cPBDAQgeLEfDiiqPVw02YO2Kk32VZU6buR0jOrqTQt/YCPcuyvRMiAePqvo2bE7wOuRar4wHpDbVEJF+2tmC8EHJYwwRYwpqT6VxcEmMloOTOL7CnSM11m9t1Gc5D6oswhmjUL+BT6IokQpnMC+Kj

提取码:
123456

*有效期至: 2022/06/14 11:06:19 GMT+08:00
日志obs链接:
https://tozi1.obs.cn-north-4.myhuaweicloud.com:443/MA-new-as_npu1-12-15-12-34/log/modelarts-job-835fbd71-642f-4ffe-9017-7a0c6967d9e4-worker-0.log?AccessKeyId=RRFW1LB71GT4JQF85OEB&Expires=1655176057&Signature=wkg4Q7GBI1epnZB%2BYwOPQ5OVUMk%3D