IT之家·· 27 天前精选AI 评分71
Strata 引擎开源:12GB 显存显卡可跑 125B Qwen3.8-Flash-Next,RTX 5070 达 94 词元/秒
12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源推出 Strata 引擎,可在 12GB 及以上显存的消费级显卡上运行量化的 Qwen3.8-Flash-Next 模型(125B 参数)。
推荐理由
原文给出了 Strata 在 12GB 显存消费级显卡上跑 125B MoE 模型的具体配置与词元速度,可据此判断本地部署大模型的门槛变化。
来源:IT之家 · ithome.com