vLLM 推式 KV 转移优化：提升 TTFT 和 TPOT 性能

vLLM 作为开源的大语言模型推理和部署引擎，通过引入推式 KV 转移机制，有效降低了 TTFT（首次输出时间）和 TPOT（每输出 token 时间），在 Amazon EC2 P5en 实例上，相较于拉式模式，TTFT 提升了 3 倍，TPOT 提升了 30%。该优化通过在预填充实例和解析实例之间直接传输 KV 块，避免了序列化，从而提高了资源利用率和吞吐量。