2.6K Star 8.6K Fork 4.8K

GVPMindSpore/mindspore

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
mindspore.nn.TransformerDecoder.rst 2.11 KB
一键复制 编辑 原始数据 按行查看 历史
宦晓玲 提交于 2024-02-28 16:58 . modify the formula inconsistence in 2.3

mindspore.nn.TransformerDecoder

.. py:class:: mindspore.nn.TransformerDecoder(decoder_layer, num_layers, norm=None)

    Transformer的解码器模块,多层 :class:`mindspore.nn.TransformerDecoderLayer` 的堆叠,包括Self Attention层、MultiheadAttention层和FeedForward层。

    参数:
        - **decoder_layer** (Cell) - :class:`mindspore.nn.TransformerDecoderLayer` 的实例。
        - **num_layers** (int) - 解码器层数。
        - **norm** (Cell, 可选) - 层标准化模块。默认值:``None``。

    输入:
        - **tgt** (Tensor) - 目标序列。如果目标序列没有batch,shape是 :math:`(T, E)` ;否则如果 :class:`mindspore.nn.TransformerDecoderLayer` 中 `batch_first=False` ,则shape为 :math:`(T, N, E)` ,如果 `batch_first=True` ,则shape为 :math:`(N, T, E)`。 :math:`(T)` 是目标序列的长度,:math:`(N)` 是batch个数,:math:`(E)` 是特性个数。数据类型:float16、float32或者float64。
        - **memory** (Tensor) - TransformerEncoder的最后一层输出序列。数据类型:float16、float32或者float64。
        - **tgt_mask** (Tensor, 可选) - 目标序列的掩码矩阵。shape是 :math:`(T, T)` 或 :math:`(N*nhead, T, T)` 。其中 `nhead` 是 :class:`mindspore.nn.TransformerDecoderLayer` 中的 `nhead` 参数。数据类型:float16、float32、float64或者bool。默认值:``None``。
        - **memory_mask** (Tensor, 可选) - memory序列的掩码矩阵。shape是 :math:`(T, S)` 。数据类型:float16、float32、float64或者bool。默认值:``None``。
        - **tgt_key_padding_mask** (Tensor, 可选) - 目标序列Key矩阵的掩码矩阵。shape是 :math:`(T)` 。数据类型:float16、float32、float64或者bool。默认值:``None``。
        - **memory_key_padding_mask** (Tensor, 可选) - memory序列Key矩阵的掩码矩阵。如果目标序列没有batch,shape是 :math:`(S)` ,否则shape为 :math:`(N, S)` 。数据类型:float16、float32、float64或者bool。默认值:``None``。

    输出:
        Tensor。Tensor的shape和dtype与 `tgt` 一致。
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore
master

搜索帮助