摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

摩尔线程开源了 Megatron-MUSA-Titan，这是一个针对万卡级集群万亿参数 MoE 模型训练的大模型训练基础设施项目，支持预训练与强化学习，并已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中应用。