摩尔线程开源Megatron-MUSA-Titan

驱动中国10月28日消息，摩尔线程宣布开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU，面向万卡级集群中的万亿参数MoE模型训练需求，覆盖预训练与强化学习两类场景，并向开发者提供MUSA平台训练适配与系统优化能力。

项目已应用于摩尔线程万卡级集群中的万亿参数MoE模型预训练过程，经过长时间训练实践检验，达到高模型算力利用率与长稳训练状态。其同时支持slime、miles强化学习框架协同，结合Megatron训练与SGLang样本生成，形成贯通万亿参数MoE预训练与强化学习的训练基础。

技术层面，Megatron-MUSA-Titan支持blockwise FP8训练，将摩尔线程全功能GPU的低精度计算能力纳入训练流程，以提升大规模训练计算效率。该项目还可结合DeepEP与ACE异步通信引擎，加速MoE模型中的Token分发与结果合并，并实现专家并行与计算通算重叠，使数据交换与计算任务协同执行，提升端到端训练效率。

相关项目代码已开源至GitHub仓库。