Allreduce算法调研 2021-07-12 Research Allreduce是MPI中重要的collective操作，有研究工作显示MPI Allreduce是使用率以及花费时间最多的MPI操作。本文归纳整理当前领域内一些关于Allreduce算法已有的研究工作。