谷歌Ironwood约102秒完成DeepSeek-V3预训练
谷歌云提交MLPerf训练基准成绩,第七代Ironwood TPU在DeepSeek-V3预训练中约102秒达标,同时披露4096颗芯片扩展效率96%,并列出英伟达GPU同轮成绩。
驱动中国11月17日消息,谷歌云11月16日发布博文称,MLPerf Training v6.1基准测试第一轮提交10项结果,内容包含模型预训练和首次进入该测试的智能体强化学习项目;参与芯片包括第七代Ironwood TPU与英伟达Grace Blackwell GPU。这10项结果中,4项使用谷歌自研芯片,6项使用英伟达GPU。
围绕DeepSeek-V3预训练测试,谷歌云给出的成绩是:8192颗Ironwood TPU耗时1.70分钟,即约102秒,目标模型达到基准规定质量要求;当芯片数量扩展至4096颗时,系统扩展效率为96%。
MLCommons发布的参赛方补充说明显示,谷歌在DeepSeek-V3 671B预训练项目中提交三组Ironwood成绩:2048颗配置耗时5.03分钟,约302秒,作为基准;4096颗配置耗时2.62分钟,约157秒,提速约1.92倍;8192颗配置耗时1.70分钟,即102秒,提速约2.96倍。
同轮DeepSeek-V3 671B测试还列出可参考公开成绩。英伟达GB300 NVL72集群使用10240颗GB300 GPU,耗时1.38分钟,约82.8秒;谷歌Ironwood集群使用8192颗Ironwood TPU,耗时1.70分钟,即102秒;英伟达Vera Rubin NVL72集群使用1024颗Rubin GPU,耗时4.14分钟;英伟达GB300 NVL72集群使用1024颗GB300 GPU,耗时8.03分钟;谷歌云A4X Max使用256颗GB300 GPU,耗时31.96分钟。
成绩来源方面,Ironwood及谷歌云GB300成绩来自谷歌披露,其余成绩来自英伟达本轮技术说明。英伟达将10240颗GB300集群的1.38分钟列为本轮该项目最短用时。