InfoQ中文· 作者:尚旭春·· 3 小时前精选AI 评分70
TokenSpeed 推理引擎优化 Agent 场景下的推理效率
构建面向 Agentic 推理的下一代 LLM 推理引擎
AI 导读
TokenSpeed 推理引擎针对 Agent 场景下的推理需求进行了优化,提升了延迟约束下的吞吐,并支持多种投机解码算法,对 Agent 场景下的工作流有重要影响。
推荐理由
TokenSpeed 推理引擎在 Agent 场景下优化了延迟约束下的吞吐,提升了推理效率,对 Agent 场景下的工作流有重要影响。
来源:InfoQ中文 · infoq.cn