Ask HN· malikoyv·· 3 天前AI 评分5
Ask HN：推理世界中的推理引擎和KV卸载引擎使用情况及原因探讨
Ask HN: What inference engine and KV offload engine do you use and why?
AI 导读
推理工程师在构建与推理相关的工作时，对大公司使用的推理工具进行了探讨，包括标准解决方案如vLLM和LMCache，以及Mooncake和vllm native等额外工具的使用情况。
来源：Ask HN · news.ycombinator.com