深圳河套学院AI训练平台项目团队近日联合哈尔滨工业大学（深圳）、深圳市大数据研究院、华为GTS等机构，在国产算力大模型训练领域取得重大突破。基于昇腾910C国产算力集群，团队成功完成DeepSeek-V4-Pro全参数后训练工程实践，标志着国产AI基础设施从推理部署向超大模型全参数训练迈出关键一步。
作为拥有1.6万亿参数的MoE（混合专家）开源旗舰模型，DeepSeek-V4-Pro采用CSA+HCA混合稀疏注意力、mHC连接等创新机制，对训练框架提出极高要求。项目团队仅用一个月时间，便在千卡级昇腾910C集群上实现该模型全参数续训练与SFT（监督微调）稳定运行，累计完成超1500步训练，MFU（模型算力利用率）最终稳定在34.9%，单步训练时间控制在27秒。
技术层面实现三大核心突破：其一，构建覆盖权重、梯度、激活、优化器状态的分布式承载方案，实现数据并行、张量并行、流水并行与专家并行的协同工作；其二，优化MoE路由与稀疏注意力算子，通过专家负载均衡机制缓解通信拥堵与负载失衡问题；其三，建立全指标可视化长稳监控体系，确保多日连续训练中未出现Loss失控或NaN值异常。
在能力验证环节，团队设计专项实验增强模型数学建模能力。通过搭建SFT建模数据生产工作流，产出3000条高质量数学建模任务样本，覆盖4类目标任务与3种问题形态。训练结果显示，模型LM Loss收敛至0.2056，MTP 1 Loss收敛至0.2538，梯度曲线保持平稳。Benchmark评测表明，ORGeval WL等四项核心指标全面提升，复杂推理与建模能力显著增强。
该成果具备可复现、可工程化交付的万亿级MoE模型国产算力稳定训练能力。项目已完成工业级自动化运筹建模场景的闭环验证，证明国产算力可在短周期、低成本条件下完成行业大模型专项增强训练。此次突破不仅验证了国产硬件生态的成熟度，更为垂直领域大模型开发提供了全新解决方案。
