om模型在推理时出现报错和精度很差的问题

一、问题现象（附报错日志上下文）：
### 前景提要：

将段落分割的bert模型转换成onnx模型，并已经验证其推理正常。
### 问题一：

使用atc工具从onnx转成om模型时，使用了两种方式，开始使用动态shape的方式进行转换。
转换命令为：
`atc --input_format=ND --framework=5 --model=./onnx/model.onnx --input_shape='input_ids:1~10,512;attention_mask:1~10,512;token_type_ids:1~10,512' --output=bert_base_1 --log=info --soc_version=Ascend310P3 --precision_mode=allow_fp32_to_fp16 --op_select_implmode=high_precision`
在转换过程中出现警告：
![警告内容](https://foruda.gitee.com/images/1715322957299735935/bc1df948_14399402.png "屏幕截图")
进行推理时动态shape没有生效。
### 问题二：

转换成om静态模型，转换成功，且可以进行推理，但结果准确性很差，实现不了任何分段效果。
转换命令：
`atc --framework=5 --input_format=ND --model=./onnx/model.onnx --input_shape='input_ids:1,512;attention_mask:1,512;token_type_ids:1,512' --output=bert_base_static_nd --log=info --soc_version=Ascend310P3  --precision_mode=allow_fp32_to_fp16`
 **推理过程正常，但输出的结果完全不正确。** 
![使用onnx推理得到的正确预测结果](https://foruda.gitee.com/images/1715323461822468583/02ca5fc2_14399402.png "屏幕截图")
![使用om模型推理得到的错误预测结果](https://foruda.gitee.com/images/1715323543658193317/b22259b9_14399402.png "屏幕截图")

### 已尝试的调试工作：
参照https://gitee.com/ascend/samples/issues/I83OOL这个已解决的问题，使用命令将onnx模型的输入shape固定下来后转om，但效果没有变好，没有任何作用。
转换命令：
`ONNXSIM_FIXED_POINT_ITERS=100 onnxsim model.onnx model_bert_sim.onnx --overwrite-input-shape 'input_ids:1,512' 'attention_mask:1,512' 'token_type_ids:1,512'`

`atc --framework=5 --input_format=ND --model=./onnx/model_bert_sim.onnx --input_shape='input_ids:1,512;attention_mask:1,512;token_type_ids:1,512' --output=bert_base_static_hc --log=info --soc_version=Ascend310P3  --precision_mode=allow_fp32_to_fp16`

尝试使用ait命令进行分析，结果如下，详细结果在附件中。
ait命令：
`ait debug compare -gm ./onnx/model.onnx -om ./bert_base_static_nd2.om -c  /usr/local/Ascend/ascend-toolkit/latest -o /home/test -is 'input_ids:1,512;attention_mask:1,512;token_type_ids:1,512'`
![得到的结果](https://foruda.gitee.com/images/1715326981855234990/5190399a_14399402.png "屏幕截图")

### 软件版本:

-- CANN 版本 (CANN 8.0.RC2.alpha001):
--Python 版本 (Python 3.8.10):
--操作系统版本 (Ubuntu 20.04):

### 用于推理的部分代码：
`# print(f"predict_dataset : {predict_dataset}") # # {'input_ids': [[n,n,...]],'token_type_ids': [[0,0,...]],'attention_mask': [[1,1,...,0,0]]}`

```
from ais_bench.infer.interface import InferSession
class OmInferencer:
    def __init__(self, om_path, device_id=0):
        super(OmInferencer, self).__init__()
        self.session = InferSession(device_id=device_id, model_path=om_path)

def model_inference(self, model_input):
        input_ids = model_input["input_ids"]
        token_type_ids = model_input["token_type_ids"]
        attention_mask = model_input["attention_mask"]
        input_ids = np.array(input_ids)
        token_type_ids = np.array(token_type_ids)
        attention_mask = np.array(attention_mask)
        model_output = self.session.infer(feeds=[input_ids, token_type_ids, attention_mask])[0]
        print(model_output)
        return model_output
vpr_inferencer = OmInferencer('/home/bert_base_static_nd4.om')

predictions = vpr_inferencer.model_inference(predict_dataset)
```

### 附件：

推理代码、onnx模型、问题图片、分析结果均在网盘上：链接：https://pan.baidu.com/s/117dBN_z0Uwdgxv1G9WFYNw?pwd=luz9 
提取码：luz9

Ascend/samples

内容风险标识

评论 (16)

Ascend/samples .gitee-modal { width: 500px !important; }

内容风险标识