跳到正文
原文
IT之家·· 27 天前精选AI 评分71

Strata 引擎开源:12GB 显存显卡可跑 125B Qwen3.8-Flash-Next,RTX 5070 达 94 词元/秒

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

AI 导读

开发者 Niko1221 开源推出 Strata 引擎,可在 12GB 及以上显存的消费级显卡上运行量化的 Qwen3.8-Flash-Next 模型(125B 参数)。

推荐理由

原文给出了 Strata 在 12GB 显存消费级显卡上跑 125B MoE 模型的具体配置与词元速度,可据此判断本地部署大模型的门槛变化。

来源:IT之家 · ithome.com