登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
开源项目 > 其他开源 > 图书/手册/教程 && 人工智能 > 机器学习/深度学习 &&
扫描微信二维码支付
取消
支付完成
Watch
不关注 关注所有动态 仅关注版本发行动态 关注但不提醒动态
335 Star 1.5K Fork 862

MindSpore / docs

代码 Issues 68 Pull Requests 8 Wiki 统计 流水线
服务
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目，私有仓库也完全免费 ：）
免费加入
克隆/下载
operator_list_parallel.md 24.99 KB
一键复制 编辑 原始数据 按行查看 历史
宦晓玲 提交于 2023-07-21 15:17 . modify the md links in 1.5

MindSpore分布式算子支持

查看源文件

分布式算子

操作名 约束
mindspore.ops.Abs 无
mindspore.ops.ACos 无
mindspore.ops.Acosh 无
mindspore.ops.Add 无
mindspore.ops.ApproximateEqual 无
mindspore.ops.ArgMaxWithValue 输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ArgMinWithValue 输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.Asin 无
mindspore.ops.Asinh 无
mindspore.ops.Assign 无
mindspore.ops.AssignAdd 无
mindspore.ops.AssignSub 无
mindspore.ops.Atan 无
mindspore.ops.Atan2 无
mindspore.ops.Atanh 无
mindspore.ops.AvgPool 1. 数据格式只支持‘NCHW’；
2. 输出的H/W维的shape必须能被输入的H/W维的切分策略整除；
3. 如果切分H/W：
1) 当kernel_size <= stride时，输入切片大小需能被stride整除；
2) 不支持kernel_size > stride；
4. 在auto_parallel模式下，不支持双递归算法。
mindspore.ops.BatchMatMul 不支持transpose_a=True
mindspore.ops.BatchNorm 不支持GPU
mindspore.ops.BesselI0e 无
mindspore.ops.BesselI1e 无
mindspore.ops.BiasAdd 无
mindspore.ops.BroadcastTo 无
mindspore.ops.Cast Auto Parallel和Semi Auto Parallel模式下，配置策略不生效
mindspore.ops.Ceil 无
mindspore.ops.Concat 输入（input_x）在轴（axis）所对应的维度不能切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.Conv2D 1. 数据格式只支持‘NCHW’；
2. 如果涉及相邻节点数据交换：
1) 只支持Ascend；
2) 只支持切分N/C-in/C-out/W维度；
3. 当group或dilation的值不为1时，只支持对N维进行切分；
4. weight的后两维不支持切分；
5. 输出的H/W维的shape必须能被输入的H/W维的切分策略整除；
6. pad模式下：不支持切分H/W维；
7. valid模式下：如果切分H/W：
1) 当kernel_size <= stride时，输入切片大小需能被stride整除；
2) 不支持kernel_size > stride；
8. same模式下：如果切分H/W：
1) 当kernel_size <= stride时，输入切片大小需能被stride整除；
2) 当kernel_size > stride时：
a) 不支持切分H维；
b) W维的原始长度需能被stride整除；
c) W维的输入切片大小需大于（kernel_size - stride + 1）/ 2；
d) 不支持 kernel_size - stride = 1；
mindspore.ops.Conv2DBackpropInput 1. 数据格式只支持‘NCHW’；
2. 如果涉及相邻节点数据交换：
1) 只支持Ascend；
2) 只支持切分N/C-in/C-out/W维度；
3. 当group或dilation的值不为1时，只支持对N维进行切分；
4. weight的后两维不支持切分；
5. 输出的H/W维的shape必须能被输入的H/W维的切分策略整除；
6. pad模式下：不支持切分H/W维；
7. valid模式下：不支持切分H/W维；
8. same模式下：
1) 不支持切分H维；
2) 如果切分W维：
a) W维的原始输入大小乘以stride需等于W维的原始输出shape；
b) 如果kernel_size > stride，相邻卡间需发送及接收数据，且W维发送接收的数据长度需小于切片大小；
mindspore.ops.Cos 无
mindspore.ops.Cosh 无
mindspore.ops.Div 无
mindspore.ops.DivNoNan 无
mindspore.ops.Dropout 无
mindspore.ops.DropoutDoMask 需和DropoutGenMask联合使用
mindspore.ops.DropoutGenMask 需和DropoutDoMask联合使用，不支持配置切分策略
mindspore.ops.Elu 无
mindspore.ops.EmbeddingLookup 同Gather
mindspore.ops.Equal 无
mindspore.ops.Erf 无
mindspore.ops.Erfc 无
mindspore.ops.Exp 无
mindspore.ops.ExpandDims 无
mindspore.ops.Expm1 无
mindspore.ops.Floor 无
mindspore.ops.FloorDiv 无
mindspore.ops.FloorMod 无
mindspore.ops.Gather 仅支持1维和2维的input_params，并且input_params的最后一维要32字节对齐（出于性能考虑）；不支持标量input_indices；参数在轴（axis）所在维度切分时，不支持重复计算；不支持input_indices和input_params同时进行切分
mindspore.ops.GatherD dim所对应的维度不能切分；在auto_parallel模式下，不支持双递归算法。
mindspore.ops.GatherNd 第一个输入不能切分，第二个输入的最后一维不能切分；在auto_parallel模式下，不支持双递归算法。
mindspore.ops.GeLU 无
mindspore.ops.Greater 无
mindspore.ops.GreaterEqual 无
mindspore.ops.Inv 无
mindspore.ops.L2Normalize 输入（input_x）在轴（axis）对应的维度不能切，切分后，在数学逻辑上和单机不等价
mindspore.ops.Less 无
mindspore.ops.LessEqual 无
mindspore.ops.LogicalAnd 无
mindspore.ops.LogicalNot 无
mindspore.ops.LogicalOr 无
mindspore.ops.Log 无
mindspore.ops.Log1p 无
mindspore.ops.LogSoftmax 输入（logits）在轴（axis）对应的维度不可切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.MatMul 不支持transpose_a=True
mindspore.ops.Maximum 无
mindspore.ops.MaxPool 1. 数据格式只支持‘NCHW’；
2. 输出的H/W维的shape必须能被输入的H/W维的切分策略整除；
3. 如果切分H/W：
1) 当kernel_size <= stride时，输入切片大小需能被stride整除；
2) 不支持kernel_size > stride；
4. 在auto_parallel模式下，不支持双递归算法。
mindspore.ops.Minimum 无
mindspore.ops.Mod 无
mindspore.ops.Mul 无
mindspore.ops.Neg 无
mindspore.ops.NotEqual 无
mindspore.ops.OneHot 仅支持输入（indices）是1维的Tensor，切分策略要配置输出的切分策略，以及第1和第2个输入的切分策略
mindspore.ops.OnesLike 无
mindspore.ops.Pow 无
mindspore.ops.PReLU weight的shape在非[1]的情况下，输入（input_x）的Channel维要和weight的切分方式一致
mindspore.ops.RealDiv 无
mindspore.ops.Reciprocal 无
mindspore.ops.ReduceMax 输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ReduceMin 输入在轴（axis）的维度进行切分时，分布式结果可能会和单机不一致
mindspore.ops.ReduceSum 无
mindspore.ops.ReduceMean 无
mindspore.ops.ReLU 无
mindspore.ops.ReLU6 无
mindspore.ops.ReLUV2 无
mindspore.ops.Reshape 不支持配置切分策略，并且，在自动并行模式下，当reshape算子后接有多个算子，不允许对这些算子配置不同的切分策略
mindspore.ops.Round 无
mindspore.ops.Rsqrt 无
mindspore.ops.ScatterUpdate 第一个输入的第一维不能切分，第二个输入不能切分，第三个输入的前n维（n为第二个输入的维度）不能切分；在auto_parallel模式下，不支持双递归算法。
mindspore.ops.Select 在auto_parallel模式下，不支持双递归算法。
mindspore.ops.Sigmoid 无
mindspore.ops.SigmoidCrossEntropyWithLogits 无
mindspore.ops.Sign 无
mindspore.ops.Sin 无
mindspore.ops.Sinh 无
mindspore.ops.Softmax 输入（logits）在轴（axis）对应的维度不可切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.SoftmaxCrossEntropyWithLogits 输入（logits、labels）的最后一维不能切分；有两个输出，正向的loss只支持取[0]
mindspore.ops.Softplus 无
mindspore.ops.Softsign 无
mindspore.ops.SparseGatherV2 同Gather
mindspore.ops.Split 轴（axis）所对应的维度不能切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.Sqrt 无
mindspore.ops.Square 无
mindspore.ops.Squeeze 无
mindspore.ops.Stack 无
mindspore.ops.StridedSlice 仅支持值为全0的mask；需要切分的维度必须全部提取；输入在strides不为1对应的维度不支持切分
mindspore.ops.Slice 需要切分的维度必须全部提取
mindspore.ops.Sub 无
mindspore.ops.Tan 无
mindspore.ops.Tanh 无
mindspore.ops.Tile 仅支持对multiples配置切分策略
mindspore.ops.TopK 最后一维不支持切分，切分后，在数学逻辑上和单机不等价
mindspore.ops.Transpose 无
mindspore.ops.Unique 只支持重复计算的策略(1,)
mindspore.ops.UnsortedSegmentSum 输入input_x和segment_ids的切分配置必须在segment_ids的维度上保持一致
mindspore.ops.UnsortedSegmentMin 输入input_x和segment_ids的切分配置必须在segment_ids的维度上保持一致。注意：在segment id为空时，输出向量的对应位置会填充为输入类型的最大值。需要用户进行掩码处理，将最大值转换成0。否则容易造成数值溢出，导致通信算子上溢错误，从而引发Run Task Error
mindspore.ops.UnsortedSegmentMax 输入input_x和segment_ids的切分配置必须在segment_ids的维度上保持一致。注意：在segment id为空时，输出向量的对应位置会填充为输入类型的最小值。需要用户进行掩码处理，将最小值转换成0。否则容易造成数值溢出，导致通信算子上溢错误，从而引发Run Task Error
mindspore.ops.ZerosLike 无

重复计算是指，机器没有用满，比如：集群有8张卡跑分布式训练，切分策略只对输入切成了4份。这种情况下会发生重复计算。

1
https://gitee.com/mindspore/docs.git
git@gitee.com:mindspore/docs.git
mindspore
docs
docs
r1.5
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
53164aa7 5694891 3bd8fe86 5694891