16 Star 56 Fork 13

modelbox / modelbox

 / 详情

模型内存共享

待办的
创建于  
2022-05-20 16:21

请问modelbox中,多个线程使用同一个model做推理,模型的内存是否可以共享?

评论 (1)

贾正平 创建了任务

看模型加载了几次(图中有几个此模型的Node),如果只加载一次,给多个任务使用,那么是共享的。
如果加载多次,当前是多分内存。

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(2)
1
https://gitee.com/modelbox/modelbox.git
git@gitee.com:modelbox/modelbox.git
modelbox
modelbox
modelbox

搜索帮助