请描述您的问题？ / Please describe your question

在模型训练时，采用数据并行：将数据集分割成多个部分，每个GPU处理数据的一个子集。每个GPU上的模型副本独立地处理其分配的数据，然后合并结果。的方式。
具体代码如下：
if args.is_distributed: # multi-cards!
assert args.device_target == "Ascend"
context.set_context(mode=context.GRAPH_MODE, save_graphs=False, device_target="Ascend", device_id=device_id)
init()
args.rank = get_rank()
# summary_dir = "./summary_dir/unet3plus1" + str(get_rank())
args.group_size = get_group_size()
device_num = args.group_size
context.reset_auto_parallel_context()
context.set_auto_parallel_context(device_num=device_num, gradients_mean=True,
parallel_mode=ParallelMode.DATA_PARALLEL)

发现的问题：
验证集也根据batch大小分配数据到不同的卡上吗？这样每个卡上在边训练边验证时，根据验证集保存最好性能的模型，就不是使用全部的验证集，而是使用的分配到该卡上的部分验证集的指标保存模型，因此出现，不同卡上的模型性能差异明显的问题。

期望的结果
所有卡都使用的是整个验证集的数据进行验证，从而保证不同卡上最佳模型性能保存的一致性，而不是仅使用分配到的部分验证集保存模型。从而解决模型在不同卡上性能指标存在差异的问题。

硬件设备
ModelArts-8卡；
mindspore: 2.1.0；
python: 3.7.5；
Graph模式。