AWS详解vLLM双向KV传输及性能测试

AWS介绍了vLLM双向KV缓存传输及基准复现方法，称预填充与解码节点可跨轮复用上下文，减少重复计算，降低多轮智能体任务的首token延迟（TTFT）。 AWS在Amazon EC2 P5en的单预填充、单解码节点部署中测试，Qwen3-32B和GLM-5-FP8的TTFT改善幅度最高分别达1.6倍和3.3倍。测试关闭了预填充节点的前缀缓存，以模拟本地缓存被清除或请求被路由到无对应缓存节点的情况；结果随硬件、模型、负载和网络配置而异。 部署需使用vLLM v0.21.0或更新版本及NixlConnector，在两类节点上启用双向KV传输，并使用能感知KV缓存的路由器。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。