1 Star 0 Fork 0

Lindsay.Lu丶 / PaddleSeg

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
multiple_gpus_train_and_mixed_precision_train.md 2.25 KB
一键复制 编辑 原始数据 按行查看 历史
LielinJiang 提交于 2020-02-12 14:31 . update readme, remove some dead link

PaddleSeg 多进程训练和混合精度训练

环境要求

  • PaddlePaddle >= 1.6.1
  • NVIDIA NCCL >= 2.4.7

环境配置,数据,预训练模型准备等工作请参考PaddleSeg使用说明

多进程训练示例

多进程训练,可以按如下方式启动

export CUDA_VISIBLE_DEVICES=0,1
python -m paddle.distributed.launch pdseg/train.py --use_gpu \
                      --do_eval \
                      --cfg configs/unet_pet.yaml \
                      BATCH_SIZE 4 \
                      TRAIN.PRETRAINED_MODEL_DIR pretrained_model/unet_bn_coco \
                      SOLVER.LR 5e-5 

混合精度训练示例

启动混合精度训练,只需将MODEL.FP16设置为True,具体命令如下

export CUDA_VISIBLE_DEVICES=0,1
python -m paddle.distributed.launch pdseg/train.py --use_gpu \
                      --do_eval \
                      --cfg configs/unet_pet.yaml \
                      BATCH_SIZE 4 \
                      TRAIN.PRETRAINED_MODEL_DIR pretrained_model/unet_bn_coco \
                      SOLVER.LR 5e-5 \
                      MODEL.FP16 True

这时候会采用动态scale的方式,若想使用静态scale的方式,可通过MODEL.SCALE_LOSS设置,具体命令如下

export CUDA_VISIBLE_DEVICES=0,1
python -m paddle.distributed.launch pdseg/train.py --use_gpu \
                      --do_eval \
                      --cfg configs/unet_pet.yaml \
                      BATCH_SIZE 8 \
                      TRAIN.PRETRAINED_MODEL_DIR pretrained_model/unet_bn_coco \
                      SOLVER.LR 5e-5 \
                      MODEL.FP16 True \
                      MODEL.SCALE_LOSS 512.0

benchmark

模型 数据集合 batch size number gpu cards 多进程训练 混合精度训练 速度(image/s) mIoU on val
DeepLabv3+/Xception65/bn Cityscapes 16 4 False False 17.27 79.20
DeepLabv3+/Xception65/bn Cityscapes 16 4 True False 19.80 78.90
DeepLabv3+/Xception65/bn Cityscapes 16 4 True True 25.84 79.06

测试环境:python3.7.3,paddle1.6.0,cuda10,cudnn7.6.2,v100。

参考

马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/lindsaylu/PaddleSeg.git
git@gitee.com:lindsaylu/PaddleSeg.git
lindsaylu
PaddleSeg
PaddleSeg
develop

搜索帮助

344bd9b3 5694891 D2dac590 5694891