跳到正文
原文
Show HN· daemon1123·· 13 天前AI 评分45

ANEFieldfareInstall 运行 Gemma 4 26B 在 100 Tok/s 的性能优化

Show HN: Reverse engineering the ANE to run Gemma 4 26B at 100 Tok/s

AI 导读

ANEFieldfareInstall 优化了 Gemma 4 26B 模型,使其在 16 GB Mac 上以超过 100 tokens/s 的速度运行,仅需不到 2GB 的 RAM。

来源:Show HN · github.com