2.4K Star 8.2K Fork 4.4K

GVPMindSpore / mindspore

 / 详情

[ST][MS][910B]DynamicRNN算子在910B环境上,当前在调用nn.LSTM ,且输入input=Tensor(np.ones([1, 1, 10])时,出现RuntimeError: Launch kernel failed, name:Default/DynamicRNN 问题

TODO
Bug-Report
创建于  
2024-04-27 18:23
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

DynamicRNN算子在910B环境上,当前在调用nn.LSTM ,且输入input=Tensor(np.ones([1, 1, 10])时,出现RuntimeError: Launch kernel failed, name:Default/DynamicRNN 问题

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend 910B

  • Software Environment / 软件环境 (Mandatory / 必填):

-- MindSpore version (e.g., 1.7.0.Bxxx) : 在910B上一直存在此问题
-- Python version (e.g., Python 3.7.5) :python3.9
-- OS platform and distribution (e.g., Linux Ubuntu 16.04):
-- GCC/Compiler version (if compiled from source):

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

import numpy as np
import mindspore.nn as nn
import mindspore
from mindspore import Tensor, context

input1 = Tensor(np.ones([1, 1, 10]).astype(np.float32))
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=2,has_bias=True, batch_first=True, bidirectional=False)
h0 = Tensor(np.ones([1 * 2, 1, 20]).astype(np.float32))
c0 = Tensor(np.ones([1 * 2, 1, 20]).astype(np.float32))
ouput_1, output2 =lstm(input1, (h0, c0))
print(output2)

Describe the expected behavior / 预期结果 (Mandatory / 必填)

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)


[ERROR] DEVICE(2571995,ffff2a0f0ff0,python):2024-04-26-14:34:45.626.777 [mindspore/ccsrc/plugin/device/ascend/hal/hardware/ge_kernel_executor.cc:951] LaunchKernel] Launch kernel failed, kernel full name: Default/DynamicRNN-op1
[INFO] PROFILING(2571995,python):2024-04-26-14:34:45.631.228 [msprofiler_impl.cpp:156] >>> (tid:2572757) ProfNotifySetDevice called, is open: 1, devId: 5
[CRITICAL] DEVICE(2571995,ffff2a0f0ff0,python):2024-04-26-14:34:45.634.878 [mindspore/ccsrc/runtime/pynative/op_runner.cc:623] LaunchKernels] Launch kernel failed, name:Default/DynamicRNN-op1
Traceback (most recent call last):
  File "/home/miniconda3/envs/feature_39/lib/python3.9/site-packages/mindspore/nn/cell.py", line 712, in __call__
    _pynative_executor.end_graph(self, output, *args, **kwargs)
  File "/home/miniconda3/envs/feature_39/lib/python3.9/site-packages/mindspore/common/api.py", line 1302, in end_graph
    self._executor.end_graph(obj, output, *args, *(kwargs.values()))
RuntimeError: Launch kernel failed, name:Default/DynamicRNN-op0

----------------------------------------------------
- C++ Call Stack: (For framework developers)
----------------------------------------------------
mindspore/ccsrc/runtime/pynative/op_runner.cc:623 LaunchKernels


During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/jenkins0/workspace/TDT_deployment/test_lstm1.py", line 11, in <module>
    ouput_1, output2 =lstm(input1, (h0, c0))
  File "/home/miniconda3/envs/feature_39/lib/python3.9/site-packages/mindspore/nn/cell.py", line 714, in __call__
    _pynative_executor.clear_res()
  File "/home/miniconda3/envs/feature_39/lib/python3.9/site-packages/mindspore/common/api.py", line 1345, in clear_res
    return self._executor.clear_res()
RuntimeError: Launch kernel failed, name:Default/DynamicRNN-op1

----------------------------------------------------
- C++ Call Stack: (For framework developers)
----------------------------------------------------
mindspore/ccsrc/runtime/pynative/op_runner.cc:623 LaunchKernels

Special notes for this issue/备注 (Optional / 选填)

评论 (3)

田桐 创建了Bug-Report
田桐 添加了
 
attr/function
标签
田桐 添加了
 
stage/func-debug
标签
田桐 添加了
 
kind/bug
标签
田桐 添加了
 
v2.3.0
标签
田桐 添加了
 
v2.3.0.rc2
标签
田桐 添加了
 
sig/ops
标签
田桐 添加协作者TuDouNi
田桐 添加协作者田桐
展开全部操作日志

Please assign maintainer to check this issue.
请为此issue分配处理人。
@田桐

感谢您的提问,您可以评论//mindspore-assistant更快获取帮助:

  1. 如果您刚刚接触MindSpore,或许您可以在教程找到答案
  2. 如果您是资深Pytorch用户,您或许需要:
  1. 如果您遇到动态图问题,可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
  2. 模型精度调优问题可参考官网调优指南
  3. 如果您反馈的是框架BUG,请确认您在ISSUE中提供了MindSpore版本、使用的后端类型(CPU、GPU、Ascend)、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
  4. 如果您已经定位出问题根因,欢迎提交PR参与MindSpore开源社区,我们会尽快review
田桐 添加了
 
sig/ascend
标签
田桐 添加了
 
sig/ascend
标签
田桐 添加了
 
device/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 添加了
 
sig/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 移除了
 
sig/ascend
标签
田桐 里程碑设置为B-SIG-ASCEND
田桐 负责人hedongdong 修改为TuDouNi
田桐 取消协作者TuDouNi
田桐 添加协作者hedongdong
田桐 修改了描述
TuDouNi 添加了
 
rct/cann
标签

cann算子问题,单: DTS2024042924488

fangwenyi 移除了
 
v2.3.0.rc2
标签
fangwenyi 添加了
 
master
标签

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(4)
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助