24 Star 20 Fork 282

Ascend / op-plugin

 / 详情

hit_cache函数实现咨询

TODO
需求
创建于  
2024-05-23 18:30

大佬们好,我看代码时发现算子执行宏函数中EXEC_NPU_CMD会调用了hit_cache函数。不知道我理解的是否正确,也没有找到任何说明,想咨询一下相关逻辑。
1)我理解这个函数的使用是为了降低CPU端耗时瓶颈的。其目标是通过hash策略,命中缓存资源信息,从而规避网络运行过程中,频繁创建aclTenosr,获取workspace接口调用等带来的cpu端耗时。https://gitee.com/ascend/op-plugin/blob/master/op_plugin/utils/op_api_common.h#L535
2)针对PTA的各个接口,我在论坛和发布文档中没有找到任何说明,可以从那边查看到相关接口说明呢?PTAGetExecCache, SetPTAHashKey,InitPTACacheThreadLocal,CanUsePTACache等。
谢谢

评论 (0)

ben19900305 创建了需求

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(1)
1
https://gitee.com/ascend/op-plugin.git
git@gitee.com:ascend/op-plugin.git
ascend
op-plugin
op-plugin

搜索帮助

344bd9b3 5694891 D2dac590 5694891