量子位· 思邈·· 13 天前精选AI 评分70
是石科技发布TokenFleet调度框架，国产推理再提效
首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效
AI 导读
是石科技发布TokenFleet调度框架，旨在优化GPU集群的推理服务，通过降低首Token延迟和提高有效Token产出，提升国产推理效率。
推荐理由
TokenFleet调度框架的发布，展示了其在降低首Token延迟和提高有效Token产出的能力，对现有工作流的影响值得关注。
来源：量子位 · qbitai.com