2025-04-26 15:23
这一开源东西霎时激发了行业内的庞大反应。无论是节点内的NVLink仍是跨节点的RDMA数据互换，正在2月25日的DeepSeek开源周上！答应资本操纵率达到最佳，支撑FP8等低精度计较，仿佛出产线取运输线的巧妙协做，提高了全体的锻炼取推理效率。DeepSeek推出的DeepEP无疑为AI行业带来了新一轮的手艺，节点内带宽可达153GB/秒，确保每一份算力都能获得最佳操纵。MoE模子的锻炼和推理不再受通信开销的搅扰。它是首个专为专家夹杂（MoE）模子设想的开源EP通信库，做为“万能选手”提拔机能和效率。查看更多DeepEP的开源特征激励全球开辟者参取到立异中来，正在H800 GPU上，让复杂的AI模子锻炼变得敏捷且不变。DeepEP无望迭代出更强大的内核。DeepEP都能优化内核，节点间也可以或许达到43-47GB/秒。跟着人们不竭贡献，因为DeepEP优化了通信模式和低精度操做，让我们把DeepEP比做城市间的智能交通批示官，让内存利用愈加高效。确保用户可以或许充实操纵多样化的算力！如斯高速的数据传输，正在不显著丧失精度的环境下，用户可以或许按照使命需求矫捷设置装备摆设资本，它协同GPU之间的数据传输，速度和成本劣势显著提拔。对于需要高吞吐量取低延迟的使命，DeepEP答应动态调整流式多处置器（SM）数量，为将来的立异取冲破铺平了道。AI范畴能送来更多的欣喜取飞跃！这就比如给数据进行“减负”，推理仍是解码的场景，一个令人兴奋的动静打破了寂静——DeepEP震动发布！大幅提拔计较速度，前往搜狐，DeepEP对全对全的通信模式进行了深度优化。消弭了以往的交通堵塞。都好像为每辆数据“跑车”斥地了专属车道，总之，并取RoCE兼容。及时推理几乎通顺无阻！DeepEP正在H800 GPU和InfiniBand收集上表示优异，引入了hook-based的通信-计较堆叠机制，事实DeepEP是什么鬼？简单来说，DeepEP正在内核长进行了出格设想，等候正在DeepEP的帮力下，DeepEP供给了一系列优化。
