335 Star 1.5K Fork 866

MindSpore / docs

Create your Gitee Account
Explore and code with more than 12 million developers,Free private repositories !:)
Sign up
Clone or Download
semi_auto_parallel.rst 1.14 KB
Copy Edit Raw Blame History
宦晓玲 authored 2023-11-25 16:17 . modify the format of rst files 2.2

半自动并行

查看源文件
.. toctree::
  :maxdepth: 1
  :hidden:

  operator_parallel
  optimizer_parallel
  pipeline_parallel

半自动并行支持多种并行模式的自动混合使用,包括:

  • 算子级并行:算子级并行是指以算子为单位,把输入张量和模型参数切分到多台设备上进行计算,提升整体速度。
  • 优化器并行:优化器并行可以减少多台设备对于相同权重更新的冗余计算,将计算量分散到多个设备上。
  • 流水线并行:流水线并行是指将模型按层切分,每个设备只处理模型中某一部分。
1
https://gitee.com/mindspore/docs.git
git@gitee.com:mindspore/docs.git
mindspore
docs
docs
r2.2

Search