跳到正文
原文
InfoQ中文· AICon 全球人工智能开发与应用大会·· 5 天前精选AI 评分75

AICon北京探讨大模型推理调度与缓存优化

面向多智能体应用的大模型推理调度与缓存优化|AICon北京

AI 导读

AICon北京站探讨了多智能体应用中的大模型推理调度与缓存优化,包括TokenCake和TokenDance两项工作,旨在提升多智能体应用的性能和资源利用效率。

推荐理由

本文探讨了多智能体应用中的大模型推理调度与缓存优化,对AI应用开发有参考价值。

来源:InfoQ中文 · infoq.cn