腾讯发布星脉网络20:大模型练习功率比较上代提高20%
日期:2024-09-17 04:44:10   来源:控制执行类

  腾讯昨日发布其自研星脉网络2.0 版别,晋级后的星脉网络支撑单集群 10 万卡组网,网络通讯功率比上一代提高 60%,大模型练习功率提高 20%,毛病定位从天级下降至分钟级。

  腾讯自研交换机从 25.6T 晋级到 51.2T,容量提高一倍;自研硅光模块从 200G 晋级到 400G,速率提高一倍;搭载自研算力网卡;整机通讯带宽 3.2T,为业界最高。

  腾讯自研全新通讯协议 TiTa2.0 的布置方位从交换机搬运到了网卡上,拥塞算法也从被迫拥塞算法晋级为主动拥塞操控算法,将星脉网络的通讯功率提高 30%,让大模型的练习功率提高 10%。

  腾讯全新高功能调集通讯库 TCCL2.0 选用 NVLINK+NET 异构并行通讯,完成数据的并行传输。Auto-Tune Network Expert 自适应算法可以精确的经过机型、网络规划、模型算法等差异,主动调整数据包切割巨细、匹配算法等参数。星脉网络通讯功能提高 30%,让大模型的练习功率再提高 10%。

  TiTa 与 TCCL 晋级带来的作用叠加,让星脉网络的通讯功率共提高 60%,大模型练习功率共提高 20%。

  刊载本文意图是传达更多职业信息,本站只提供参阅并不构成任何出资及使用主张。如网站内容触及作品版权和其它问题,请在30日内与本网联络,咱们将在第一时间删去内容。本站联络电线-,邮件后缀为假充本站职工以任何其他联络方式,进行的“内容核实”、“商务联络”等行为,均不能代表本站。本站具有对此声明的终究解释权。

  ·ITC:2024财年我国手机出口额下滑2.8%至1325亿美元 印..