问题现象(附截图):
我们的软件需要统一了GPU,CPU及NPU的对外接口,当前GPU和CPU上是都支持,模型加载一次(模型加载时间较长),共享参数内存等资源,然后在推理前,申请不同的资源(主要是内存),然后在推理时,指定这些资源,实现模型推理接口的重入;
初步分析:
NPU在加载模型时,有个参数workPtr,这个参数即为模型推理的内存资源,可否在aclmdlExecuteAsync(文档中不可重入)接口中增加一个参数,指定不同workPtr,实现同一个ModelID可以在不同线程中推理,实现aclmdlExecuteAsync接口重入
aclError aclmdlLoadFromFileWithMem(const char *modelPath, uint32_t *modelId, void *workPtr, size_t workSize, void *weightPtr, size_t weightSize)
软件版本:
-- 原始模型框架 (Tensorflow/Pytorch/MindSpore) 版本:Pytorch
-- Python 版本 (e.g., Python 3.7.5): Python 3.7.5
-- 操作系统版本 (e.g., Ubuntu 18.04): Ubuntu 18.04
-- CANN 版本 (e.g., CANNN 20.2): CANNN 20.2
您对ACL模块提交的需求我们已经开始着手分析 会尽快答复您!
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
这个需求我理解是 增强这个aclmdlExecuteAsync接口功能 原先必须先调用aclmdlLoadFromFileWithMem接口将离线模型加载进内存中直接执行,现在的新需求是将已加载的离线模型缓存下来 在多线程中调用执行推理接口时复用之前缓存下来的离线模型(即模型加载一次 可在多线程中执行推理)
当前已有有整体需求支持一次加载,多次执行。由于您长时间没有答复,我们就先把这个issue关闭了,如果您还有其他问题,可以重新打开这个issue或者新提一个issue来解决,再次感谢支持
登录 后才可以发表评论