InfoQ中文· 蔡芳芳·· 11 天前精选AI 评分85
StartLux 开源 Prism 推理引擎，单卡最高提速 5.3 倍
决策模型也有专用推理引擎了：StartLux 开源 Prism，单卡最高提速 5.3 倍
AI 导读
StartLux 开源为 StartLux-Decision 设计的专用推理引擎 StartLux-Prism，在单张 NVIDIA H200 GPU 上，使用 StartLux-Decision v1.1 27B 模型，Prism 在测试场景中的推理速度达到原有 vLLM 方案的 1.2 至 5.3 倍。
推荐理由
原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
来源：InfoQ中文 · infoq.cn