概述

本样例介绍了如何使用Matmul高阶API中basicBlock模版实现矩阵乘算子，按照不同的算子调用方式分别给出了对应的端到端实现。

BasicBlock模板的特点：适用于无尾块的特定场景(矩阵的shape可以被base块整除)，可以固定base块大小（baseM/baseN/baseK），减少矩阵搬运和计算过程中的Scalar开销。

• 直调：使用核函数直调basicBlock Matmul实现矩阵运算。

  核函数的基础调用方式，开发者完成算子核函数的开发和Tiling实现后，即可通过AscendCL运行时接口，完成算子的调用。

• 框架调用：使用框架调用basicBlock Matmul实现矩阵运算。

  按照工程创建->算子实现->编译部署>算子调用的流程完成算子开发。整个过程都依赖于算子工程：基于工程代码框架完成算子核函数的开发和Tiling实现，通过工程编译脚本完成算子的编译部署，继而实现单算子调用或第三方框架中的算子调用。

本样例中包含如下调用方式：

样例支持的产品型号为：

• Atlas A2训练系列产品/Atlas 800I A2推理产品

目录结构

算子描述

basicBlockMatmul单算子，对输入的A B矩阵做矩阵乘和加bias偏置

basicBlockMatmul算子规格

算子实现介绍

Framework调用样例中实现的是固定shape为[M, N, K] = [4096, 5120, 4096], bias = [5120]的basicBlockMatmul算子。

• kernel实现

  • 计算逻辑是：Ascend C提供一组Matmul高阶API，方便用户快速实现Matmul矩阵乘法的运算操作。MatMul的计算公式为：C = A * B + Bias。
    • A、B为源操作数，A为左矩阵，形状为[M, K]；B为右矩阵，形状为[K, N]。
    • C为目的操作数，存放矩阵乘结果的矩阵，形状为[M, N]。
    • Bias为矩阵乘偏置，形状为[1, N]。对A*B结果矩阵的每一行都采用该bias进行偏置。
  • 实现MatMul矩阵乘运算的具体步骤如下：
    • 调用GetBasicConfig接口，创建MatmulConfig对象MM_CFG。
    • 创建Matmul对象，传入MM_CFG。
    • 初始化操作。
    • 设置左矩阵A、右矩阵B、Bias。
    • 完成矩阵乘操作。
    • 结束矩阵乘操作。

• tiling实现

  • Ascend C提供一组Matmul Tiling API，方便用户获取MatMul kernel计算时所需的Tiling参数。只需要传入A/B/C矩阵等信息，调用API接口，即可获取到TCubeTiling结构体中的相关参数。
  • 获取Tiling参数的流程如下：
    • 创建一个Tiling对象。
    • 设置A、B、C、Bias的参数类型信息；M、N、Ka、Kb形状信息等。
    • 调用SetFixSplit接口，设置baseM、baseN、baseK的形状信息。
    • 调用GetTiling接口，获取Tiling信息。