积分商城

最新搜索： stm32f0 usb源码 随身听 神经网络 DfuSe SSD1306 STM32F103C8T6
您现在的位置是：首页 > 技术资料 > RoCE与InfiniBand在超大规模推理集群PD分离架构中的网络需求对比.docx
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

RoCE与InfiniBand在超大规模推理集群PD分离架构中的网络需求对比.docx

更新时间：2026-09-29 12:10:45 大小：37K 上传用户：江岚查看TA发布的资源 标签：RoCEInfiniBandPD分离架构超大规模推理集群网络需求 下载积分：2分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

RoCE与InfiniBand在面向AI的超大规模推理集群PD分离架构中的网络需求对比

引言

PD分离架构将推理过程分为预填充和解码两个阶段，分别部署在独立的GPU集群上。这种架构显著提升了推理吞吐量，但对网络的连接能力和延迟提出了新的要求。预填充节点需要将计算好的KV Cache高效传输到解码节点，两者之间的网络带宽直接决定推理吞吐量的上限。预填充集群需要大矩阵运算能力，解码集群需要低延迟的KV Cache读取性能。PD分离架构使网络从简单的请求响应通道变为影响推理效率的关键路径。

PD分离架构的网络拓扑设计

PD分离架构的网络拓扑通常采用预填充集群和解码集群分离部署的方式，通过高性能网络互连。预填充节点处理完整输入序列后产生大量KV Cache，需要快速分发到对应的解码节点。解码节点需要从多个预填充节点接收KV Cache。跨节点KV Cache传输对网络的依赖程度较高，网络链路故障可能影响所有通过该链路接收数据的解码节点。PD分离架构对网络的高带宽和低延迟都有较高的要求，网络方案的差异可能导致推理效率和响应时间的显著变化。

InfiniBand在PD分离架构中的价值

InfiniBand的高带宽确保KV Cache在预填充和解码节点之间快速传输。在大规模PD分离推理集群中，InfiniBand的400Gbps带宽可以在毫秒级完成GB级KV Cache传输。InfiniBand的低延迟一致性使解码节点在等待KV Cache时的延迟高度可预测，P99延迟与平均延迟差异较小。InfiniBand的信用流控确保KV Cache传输不因网络拥塞而延迟从而保证推理服务质量，避免因网络引发的超时重试。


部分文件列表

文件名 大小
109-RoCE与InfiniBand在超大规模推理集群PD分离架构中的网络需求对比.docx 37K

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号