代码拉取完成，页面将自动刷新
strategy = tf.distribute.MirroredStrategy()
per_replica_losses = strategy.run(train_step, args=(dataset_inputs,))
losses = strategy.reduce(tf.distribute.ReduceOp.SUM, per_replica_losses,
axis=None)
更多内容详见tf.distribute.Strategy。
import mindspore as ms
from mindspore.communication import init
ms.set_auto_parallel_context(parallel_mode=ms.ParallelMode.DATA_PARALLEL, gradients_mean=True)
init()
# Run net, the same with stand alone training
更多内容详见set_auto_parallel_context(ParallelMode=ParallelMode.DataParallel)。
TensorFlow：通过tf.distribute.Strategy执行数据并行训练，不同策略指定不同的数据初始化、同步等策略。
MindSpore：通过set_auto_parallel_context中的ParallelMode参数的指定数据并行模式，通过gradients_mean参数指定梯度同步策略， 其余网络脚本部分与单卡网络脚本保持一致。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。