您当前的位置 :科技 >
【天天热闻】面向大模型训练,腾讯发布高性能计算集群:整体性能提升3倍
2023-04-14 15:38:17   来源:手机网易网  分享 分享到搜狐微博 分享到网易微博


(资料图片)

腾讯发布号称国内性能最强的大模型计算集群。

4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。

腾讯表示,实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。

2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

网络层面,计算节点间存在海量的数据交互需求,腾讯自研的星脉网络,为新一代集群带来业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。

关键词:


[责任编辑:ruirui]





关于我们| 客服中心| 广告服务| 建站服务| 联系我们
 

中国焦点日报网 版权所有 沪ICP备2022005074号-20,未经授权,请勿转载或建立镜像,违者依法必究。