【网易科技2月21日报道】淮海智算中心与浪潮信息进行了超大规模参数AI大模型训练性能测试，数据表明，千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率为53.5%。具体来说，针对AI大模型训练的计算特点，浪潮信息AI团队对淮海智算中心算力系统进行了优化，系统架构上，采用单节点集成8颗加速器的AI服务器，节点内加速器间实现超高速P2P通信，节点间建立低延迟高带宽的Infiniband通信网络
【网易科技2月21日报道】淮海智算中心与浪潮信息进行了超大规模参数AI大模型训练性能测试，数据表明，千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率为53.5%。
具体来说，针对AI大模型训练的计算特点，浪潮信息AI团队对淮海智算中心算力系统进行了优化，系统架构上，采用单节点集成8颗加速器的AI服务器，节点内加速器间实现超高速P2P通信，节点间建立低延迟高带宽的Infiniband通信网络。
在大模型训练技术层面，运用了中文巨量AI模型“源1.0”的训练优化经验，对分布式训练策略进行了优化，通过合理设计张量并行、流水并行和数据并行，精准调整模型结构和训练过程的超参数，最终千亿参数规模AI大模型的训练算力效率达到53.5%。
据悉，这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能高效率的AI大模型训练算力服务。(定西)
标签: 淮海 智算 中心 宣布 AI 大模型 训练 算力 效率
声明：本文内容来源自网络，文字、图片等素材版权属于原作者，平台转载素材出于传递更多信息，文章内容仅供参考与学习，切勿作为商业目的使用。如果侵害了您的合法权益，请您及时与我们联系，我们会在第一时间进行处理！我们尊重版权，也致力于保护版权，站搜网感谢您的分享！
