AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分44
vLLM 如何通过推送式 KV 传输改善分离式推理的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 的推送式 NIXL 连接器将传输协调与准备移出关键路径，改善预填充与解码分离式推理的延迟。在使用 EFA 互联的 Amazon EC2 P5en 上，Qwen3-32B 测试中 TTFT 改善最高达 3 倍，TPOT 改善最高达 30%；结果取决于工作负载与配置。
来源：AWS Machine Learning Blog · aws.amazon.com