Tag:

PipeDream: generalized pipeline parallelism for DNN training

使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割,并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法(论文发表前)来说,PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。

使用流水线并行的DNN训练方法可以大大减少通信开销所带来的瓶颈问题。本文提出的Pipedream可以自动对于DNN模型进行自动分割,并且结合了batch内并行优化方法来摊还通信开销。相比于当前最好的方法(论文发表前)来说,PipeDream可以在很多模型及不同硬件上取得最高5.3倍的训练加速。