Hugging Face Blog·· 5 天前精选AI 评分70
将 MoE 推理在 Transformer 上推至极限:180B 参数,32GB 内存
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
探讨了 MoE 模型在 Transformer 上的应用,展示了其在大型模型推理方面的最新进展,包括 180B 参数和 32GB 内存的使用。
推荐理由
原文探讨了 MoE 模型在 Transformer 上的应用,读者可以了解其在大型模型推理方面的最新进展。
来源:Hugging Face Blog · huggingface.co