InfoQ中文· AICon 全球人工智能开发与应用大会·· 5 天前精选AI 评分75
AICon北京探讨大模型推理调度与缓存优化
面向多智能体应用的大模型推理调度与缓存优化|AICon北京
AI 导读
AICon北京站探讨了多智能体应用中的大模型推理调度与缓存优化,包括TokenCake和TokenDance两项工作,旨在提升多智能体应用的性能和资源利用效率。
推荐理由
本文探讨了多智能体应用中的大模型推理调度与缓存优化,对AI应用开发有参考价值。
来源:InfoQ中文 · infoq.cn