337 Star 1.5K Fork 876

MindSpore / docs

Create your Gitee Account
Explore and code with more than 12 million developers,Free private repositories !:)
Sign up
Clone or Download
semi_auto_parallel.rst 1.43 KB
Copy Edit Raw Blame History
yao_yf authored 2024-03-11 14:05 . add tutorials for parallel layout extend

半自动并行

查看源文件
.. toctree::
  :maxdepth: 1
  :hidden:

  operator_parallel
  advanced_operator_parallel
  optimizer_parallel
  pipeline_parallel

半自动并行支持多种并行模式的自动混合使用,包括:

  • 算子级并行:算子级并行是指以算子为单位,把输入张量和模型参数切分到多台设备上进行计算,提升整体速度。
  • 高阶算子级并行:高阶算子级并行是指允许自定义设备排布与张量排布的算子级并行,以实现更复杂的切分逻辑。
  • 优化器并行:优化器并行可以减少多台设备对于相同权重更新的冗余计算,将计算量分散到多个设备上。
  • 流水线并行:流水线并行是指将模型按层切分,每个设备只处理模型中某一部分。
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/mindspore/docs.git
git@gitee.com:mindspore/docs.git
mindspore
docs
docs
master

Search

344bd9b3 5694891 D2dac590 5694891