Show HN· HelldezNoBan·· 13 天前精选AI 评分60
BigMoeOnEdge：在Llama.cpp之上实现大型MoE模型流式传输的工具
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
AI 导读
BigMoeOnEdge是一个在Llama.cpp之上构建的工具，允许在手机和笔记本电脑上流式传输大型MoE模型，支持多种操作系统和硬件。
推荐理由
该工具允许在手机和笔记本电脑上运行大型MoE模型，对需要移动设备上模型部署的用户有重要意义。
来源：Show HN · github.com