如何通过 vLLM 双向 KV 传输降低多轮智能体工作负载的 TTFT

vLLM 双向 KV 传输支持预填充与解码节点跨轮复用上下文，减少重复计算并降低多轮智能体工作负载的首 token 延迟（TTFT）。在 Amazon EC2 P5en 的 1P1D 部署测试中，Qwen3-32B 和 zai-org/GLM-5-FP8 的 TTFT 改善幅度分别最高达 1.6x 和 3.3x，结果随负载与配置而异。