【deeplink】op_plugin 与直接使用 aclnn 混合时，发生各种错误

### 软件版本:
cann 版本：7.0.0
系统版本：Ubuntu 18.04
kernel版本：5.15.0-92-generic
设备：Atlas 800T A2

### 问题描述

op_plugin 里面存在一个 aclnn 的 aten adaptor `EXEC_NPU_CMD`，很多算子都会转发到这里实现。与之类似，deeplink 也按照 aclnn 的文档实现了一些纯 aclnn 的算子。两者单独使用都不会产生问题。然而，在一个进程中混合使用两种算子时，就会产生各种预期外的问题。

以下描述三种会产生问题的场景（注意，单独调用我们实现的 aclnn 算子已经确认正常运行）。

#### 场景 1

at::Tensor
-> 调用 EXEC_NPU_CMD(aclnnCast)
-> 输出 at::Tensor
-> 转换为我们的内部格式（取出 data ptr 等，无实际操作）
-> 使用 aclCreateTensor 创建 aclTensor
-> aclnnAddcmul

错误：
```
E       RuntimeError: ascend device error:EZ9999: Inner Error!
E       EZ9999  The error from device(chipId:5, dieId:0), serial number is 23, there is an aivec error exception, core id is 45, error code = 0x800000, dump info: pc start: 0x1240c00e3038, current: 0x1240c00e7838, vec error info: 0x531f874b84, mte error info: 0x9d031121c1, ifu error info: 0x7346323e38b00, ccu error info: 0x467e683717cb3ca, cube error info: 0, biu error info: 0, aic error mask: 0x6500020bd000288, para base: 0x1241000d0000.[FUNC:ProcessStarsCoreErrorInfo][FILE:device_error_proc.cc][LINE:1164]
E               TraceBack (most recent call last):
E               The extend info: errcode:(0x800000, 0, 0) errorStr: The DDR address of the MTE instruction is out of range. fixp_error0 info: 0x31121c1, fixp_error1 info: 0x9d fsmId:0, tslot:0, thread:0, ctxid:0, blk:0, sublk:0, subErrType:4.[FUNC:ProcessStarsCoreErrorInfo][FILE:device_error_proc.cc][LINE:1176]
E               Kernel task happen error, retCode=0x31, [vector core exception].[FUNC:PreCheckTaskErr][FILE:task_info.cc][LINE:1677]
E               AIV Kernel happen error, retCode=0x31.[FUNC:GetError][FILE:stream.cc][LINE:1454]
E               Aicore kernel execute failed, device_id=0, stream_id=2, report_stream_id=2, task_id=164, flip_num=0, fault kernel_name=Addcmul_2dc012f1f3b7976934d280e17d5c376e_high_performance_299900000, program id=1, hash=997239479441594719.[FUNC:GetError][FILE:stream.cc][LINE:1454]
E               [AIC_INFO] after execute:args print end[FUNC:GetError][FILE:stream.cc][LINE:1454]
E               rtStreamSynchronize execute failed, reason=[vector core exception][FUNC:FuncErrorReason][FILE:error_message_manage.cc][LINE:50]
E               synchronize stream failed, runtime result = 507035[FUNC:ReportCallError][FILE:log_inner.cpp][LINE:161]
```

假如流程改为：
at::Tensor
-> 转换为我们的内部格式（取出 data ptr 等，无实际操作）
-> 使用 aclCreateTensor 创建 aclTensor
-> aclnnCast
-> 输出 aclTensor
-> aclnnAddcmul

则正常运行。

#### 场景 2

在同一进程中，首先测试某 op_plugin (aclnn) 实现的算子 (adaptive_avg_pool_2d)，再测试某我们自行用 aclnn 实现的算子 (addcmul)。

错误：后者调用 GetWorkSpace 正常，调用 aclnn api 返回 161001（ACLNN_ERR_PARAM_NULLPTR）。

#### 场景 3

在同一进程中，首先测试某我们自行用 aclnn 实现的算子 (addcmul)，再测试某 op_plugin (aclnn) 实现的算子 (baddbmm)。

错误：后者出现精度问题。

### 可能的问题原因

EXEC_NPU_CMD 中使用了两组手册中不存在的函数

1. hit_cache 中使用了一些 PTAxxx。由于没有文档，我们的实现中没有添加 hit_cache 相关逻辑。
2. InitHugeMemThreadLocal 等函数，同样没有文档，因此我们也没有使用。

Ascend/pytorch
暂停

内容风险标识

评论 (1)

Ascend/pytorch暂停 .gitee-modal { width: 500px !important; }

内容风险标识