登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
代码拉取完成,页面将自动刷新
开源项目
>
人工智能
>
机器学习/深度学习
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
69
Star
298
Fork
182
MindSpore
/
akg
代码
Issues
17
Pull Requests
40
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
[AIKG] 多后端DSL接入
TODO
#ID04C9
RFC
zhengqishui
创建于
2025-09-26 14:42
| name | about | labels | | ---- | ---------------------------------------------------- | -------------------------------- | | RFC | AIKG支持多后端DSL | kind/feature | ### Backgroud(背景信息) - AIKG目前仅接入Triton、SWFT的DSL,无法充分满足多场景下的算子生成需求。针对不同的硬件平台(GPU\CPU\NPU),AIKG当前的后端适配能力存在一定局限性,现有 DSL 对不同硬件后端的支持较为单一,因此我们希望扩展AIKG的多后端DSL支持的能力。 ### Benefit / Necessity (价值/作用) - 结合硬件信息和DSL特性,充分发挥硬件和语言潜能,形成多后端、多类型的AI算子生成与自动优化场景,获得高精度、高性能的算子实现,进而扩展AIKG算子生成的能力,吸引更多开发者基于 AIKG 算子生成方案,扩大框架的应用范围与影响力。AIKG持续支持其他后端DSL的接入,将CUDA_C、CPP、TileLang等DSL接入框架,使得框架在不同硬件平台下拥有算子生成能力。 ### Design(设计方案) #### 步骤 1. 接入DSL文件系统内容 - 接入的DSL的docs文档:包括: - api.md:目标DSL的API 参考手册,记录内核启动语法、程序执行单元、内存操作、常用函数、特殊的修饰符等。 - basic_docs.md:记录编程基础与模式,可以包括内核程序结构、调用方式、编程范式、边界检查等。 - suggestion.md:提供DSL代码生成时的性能优化方式、程序约束、错误排查、代码生成建议、注意事项等。 - 创建目标DSL的vllm_dsl_xxx_config.yaml配置文件,设置请求的模型、docs_dir路径 2. 验证脚本 结合AIKG的验证脚本,在kernel_verify_template.j2为添加的DSL导入测试module以及调用的方式用于验证算子的精度。 #### docs文档参考内容 1. 结合Pybind11库提供的支持,将C++函数封装成Python函数,进而可以将算子核函数与Python解释器进行绑定。在Python解释器中使用绑定的C++函数、类和变量,可实现Python与C++代码的交互。 - CUDA_C:利用CUDA_C提供的API、核函数编程模式以及性能优化策略,支持CUDA环境下的算子生成。 - CPP:基于C++编程语言,支持x86_64、aarch64架构下CPU算子生成。 2. TileLang 在TVM之上构建底层编译器基础架构,简化高性能的内核代码,目前支持GPU/NPU环境下算子生成。 - TileLang_CUDA:利用TileLang提供的API、编程模式以及性能优化策略,支持CUDA环境下的算子生成。 - TileLang_NPUIR:TileLang 生态中专门为 Ascend 开发了 NPU 中间表示 AscendNPU IR,使其能够无缝集成到基于 MLIR 的编译器。利用 tilelang-ascend提供的API等信息完成文档系统接入。
| name | about | labels | | ---- | ---------------------------------------------------- | -------------------------------- | | RFC | AIKG支持多后端DSL | kind/feature | ### Backgroud(背景信息) - AIKG目前仅接入Triton、SWFT的DSL,无法充分满足多场景下的算子生成需求。针对不同的硬件平台(GPU\CPU\NPU),AIKG当前的后端适配能力存在一定局限性,现有 DSL 对不同硬件后端的支持较为单一,因此我们希望扩展AIKG的多后端DSL支持的能力。 ### Benefit / Necessity (价值/作用) - 结合硬件信息和DSL特性,充分发挥硬件和语言潜能,形成多后端、多类型的AI算子生成与自动优化场景,获得高精度、高性能的算子实现,进而扩展AIKG算子生成的能力,吸引更多开发者基于 AIKG 算子生成方案,扩大框架的应用范围与影响力。AIKG持续支持其他后端DSL的接入,将CUDA_C、CPP、TileLang等DSL接入框架,使得框架在不同硬件平台下拥有算子生成能力。 ### Design(设计方案) #### 步骤 1. 接入DSL文件系统内容 - 接入的DSL的docs文档:包括: - api.md:目标DSL的API 参考手册,记录内核启动语法、程序执行单元、内存操作、常用函数、特殊的修饰符等。 - basic_docs.md:记录编程基础与模式,可以包括内核程序结构、调用方式、编程范式、边界检查等。 - suggestion.md:提供DSL代码生成时的性能优化方式、程序约束、错误排查、代码生成建议、注意事项等。 - 创建目标DSL的vllm_dsl_xxx_config.yaml配置文件,设置请求的模型、docs_dir路径 2. 验证脚本 结合AIKG的验证脚本,在kernel_verify_template.j2为添加的DSL导入测试module以及调用的方式用于验证算子的精度。 #### docs文档参考内容 1. 结合Pybind11库提供的支持,将C++函数封装成Python函数,进而可以将算子核函数与Python解释器进行绑定。在Python解释器中使用绑定的C++函数、类和变量,可实现Python与C++代码的交互。 - CUDA_C:利用CUDA_C提供的API、核函数编程模式以及性能优化策略,支持CUDA环境下的算子生成。 - CPP:基于C++编程语言,支持x86_64、aarch64架构下CPU算子生成。 2. TileLang 在TVM之上构建底层编译器基础架构,简化高性能的内核代码,目前支持GPU/NPU环境下算子生成。 - TileLang_CUDA:利用TileLang提供的API、编程模式以及性能优化策略,支持CUDA环境下的算子生成。 - TileLang_NPUIR:TileLang 生态中专门为 Ascend 开发了 NPU 中间表示 AscendNPU IR,使其能够无缝集成到基于 MLIR 的编译器。利用 tilelang-ascend提供的API等信息完成文档系统接入。
评论 (
2
)
登录
后才可以发表评论
状态
TODO
VALIDATION
CLOSED
TODO
ACCEPTED
WIP
DONE
REJECTED
负责人
未设置
标签
未设置
项目
未立项任务
未立项任务
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (17)
标签 (11)
master
br_aikg
ms_custom_ops
ms_custom_ops_0902_br_infer_iter
code_clean
r2.4
r2.2
r2.3
r2.1
r2.0
r1.9
r1.8
r1.7
r1.6
r1.3
r1.5
r1.2
v2.4.0
v2.1.0
v2.0.0
v1.9.0
v1.8.0
v1.7.0
v1.6.0
v1.5.0
v1.4.0
v1.3.0
v1.2.0
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
预计工期
(小时)
参与者(1)
Python
1
https://gitee.com/mindspore/akg.git
git@gitee.com:mindspore/akg.git
mindspore
akg
akg
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册