AWS详解vLLM推送式KV传输及延迟测试

AWS介绍了vLLM推送式NIXL KV连接器：它将传输协调与准备移出关键路径；AWS称，在使用EFA互联的Amazon EC2 P5en上测试Qwen3-32B，首个词元延迟（TTFT）改善最高达3倍，每词元输出延迟（TPOT）改善最高达30%，结果取决于硬件、模型、工作负载和网络配置。 该连接器用于预填充与解码分离式推理，启用时两端服务器均需配置为NixlPushConnector。AWS建议，可提前选定解码节点且优先降低TTFT的场景采用推送模式；需要双向KV传输，或在预填充后按负载选择解码实例的场景，仍更适合拉取模式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。