代码拉取完成,页面将自动刷新
torch.distributed.all_gather(
tensor_list,
tensor,
group=None,
async_op=False
)
更多内容详见torch.distributed.all_gather。
class mindspore.ops.AllGather(group=GlobalComm.WORLD_COMM_GROUP)(input_x)
更多内容详见mindspore.ops.AllGather。
PyTorch:该接口输入当前进程广播的tensor、通信域group及异步操作标志async_op,进行AllGather操作后输出tensor_list,类型为list[Tensor],长度为通信域中设备数量N。当async_op=True时,返回异步work句柄,否则返回为空。
MindSpore:该接口输入tensor input_x,输出tensor,第一维为通信域中设备数量N,其余维度与输入tensor一致,而不是像PyTorch对应接口输出list[Tensor]。当前该接口不支持async_op的配置。
分类 | 子类 | PyTorch | MindSpore | 差异 |
---|---|---|---|---|
参数 | 参数1 | tensor_list | - | PyTorch:进行AllGather操作后的输出,MindSpore无此参数 |
参数2 | tensor | - | PyTorch:当前进程广播的tensor,MindSpore无此参数 | |
参数3 | group | group | - | |
参数4 | async_op | - | PyTorch:异步操作标志,MindSpore无此参数 | |
输入 | 单输入 | - | input_x | PyTorch:不适用,MindSpore:AllGather算子的输入Tensor |
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。