代码拉取完成,页面将自动刷新
大佬们好,我看代码时发现算子执行宏函数中EXEC_NPU_CMD会调用了hit_cache函数。不知道我理解的是否正确,也没有找到任何说明,想咨询一下相关逻辑。
1)我理解这个函数的使用是为了降低CPU端耗时瓶颈的。其目标是通过hash策略,命中缓存资源信息,从而规避网络运行过程中,频繁创建aclTenosr,获取workspace接口调用等带来的cpu端耗时。https://gitee.com/ascend/op-plugin/blob/master/op_plugin/utils/op_api_common.h#L535
2)针对PTA的各个接口,我在论坛和发布文档中没有找到任何说明,可以从那边查看到相关接口说明呢?PTAGetExecCache, SetPTAHashKey,InitPTACacheThreadLocal,CanUsePTACache等。
谢谢