DeepSeek开源周第四日：开源DualPipe和EPLB
发布日期：2025-02-27
来源：快科技
2月27日消息，今天是DeepSeek开源周第四日，不同于前三日早早就发出的开源项目。
今天DeepSeek公布开源项目，比平日稍微晚些，让关注者们等的稍微有点着急，包括小编在内。
但是等待的结果总是值得的，这不今天公布了两项开源内容。话不多说，转入正题。
今天DeepSeek发布了DualPipe（双向管道并行算法）和EPLB（专家并行负载均衡器）。
据DeepSeek介绍，DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法，它实现了向后和向后计算通信阶段的双向重叠，显著减少训练空闲时间。
同时，流水线气泡优化这一创新调度策略，降低传统管道并行中的“气泡”问题，有效提升硬件资源利用率。在GitHub上，目前该算法已经获得544个Star收藏。
另外，在此谈一谈EPLB（专家并行负载均衡器）。
EPLB（专家并行负载均衡器）具有动态负载均衡、分层与全局平衡结合、流量优化的特点。
具体来看，动态负载均衡是基于混合专家（MoE）架构，通过冗余专家策略复制高负载专家，并采用启发式分配算法优化GPU间的负载均衡；
另外在分层与全局平衡结合方面，它既支持单个节点的分层负载管理，也实现跨节点的全局负载平衡，减少GPU闲置。
此外在流量优化上，可在平衡负载的同时，通过调整专家分布降低节点间通信数据量，提升整体训练效率。
