AWS Machine Learning Blog· Sunita Nadampalli·· 14 天前精选AI 评分45
vLLM 中双向KV传输优化多轮对话型工作负载的TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
vLLM 引入双向KV缓存传输机制，优化多轮对话型工作负载的TTFT，在1P1D部署中，Qwen3-32B和zai-org/GLM-5-FP8的TTFT分别降低了1.6倍和3.3倍。
推荐理由
原文介绍了双向KV缓存传输机制，读者可以了解其对多轮对话型工作负载性能的提升。
来源：AWS Machine Learning Blog · aws.amazon.com