为AI大模型带来数十倍性能提升!看腾讯星脉网络2.0如何构建万卡集群?

来源: 云巴巴 2024-08-14 17:10:01

AI大模型成为近年AI领域的热门方向。这些都是由超高性能的网络集群来实现的。然而重金购得的GPU,是否有效利用成疑?

想象一下,一个高度协同的“超级工厂”,其中的“工人”(即GPU)在完成阶段任务(计算产出)后,不得不进入繁琐的“信息对齐”流程(数据同步),方能再次投入工作。这一“对齐”过程,即集群间的通信时间,竟占据了总作业周期的高达50%,任何微小故障(单一节点问题)都能引发整个生产线的瘫痪(集群故障)。

在算力资源日益紧俏、成本水涨船高的背景下,三大效率挑战亟待解决:如何加速信息流通(通信速度)?怎样减少沟通成本(通信损耗)?故障诊断能否更加精确迅速?面对这些“生死攸关”的问题,大型模型制造商们准备好了吗?

icon腾讯星脉网络2.0来了!

如此大规模、长时间的GPU集群训练任务,对网络互联底座的性能、可靠性、成本等各方面都提出极致要求。对此,追求极致高性能与高可用的星脉高性能计算网络面世了。

相比上一代,2.0版本单集群支持的GPU数量实现翻番,达到惊人的10万张;网络通信效率显著提高60%,直接推动大模型训练效率跃升20%;而在故障排查方面,更是取得了从按天计到分钟级的飞跃进步。这一切,都是对效率挑战的有力回应。

“基建”全面升级,组网规模翻倍

自研交换机从25.6T升级到51.2T,容量提升一倍;自研硅光模块从200G升级到400G,速率提升一倍;搭载自研算力网卡;整机通信带宽3.2T,为业界最高。

基建升级后,星脉网络2.0可支撑的整体组网规模实现翻倍,支持单集群10万卡GPU以上的规模。

“治堵”更“高效”,训练效率提升10%

腾讯自研全新通信协议TiTa2.0的部署位置从交换机转移到了网卡上,拥塞算法也从被动拥塞算法升级为主动拥塞控制算法。即根据实时网络情况为GPU提供建议“车速”(数据包发送速率),提前避免拥堵发生,并通过拥堵智能调度,实现网络的快速自愈。

“改装”更“灵活”,训练效率提升10%

腾讯全新高性能集合通信库TCCL2.0采用NVLINK+NET异构并行通信,相当于为GPU新建了一条路(网络通道),以实现数据的并行传输。 同时,Auto-Tune Network Expert自适应算法可以根据机型、网络规模、模型算法等差异,自动调整数据包分割大小、匹配算法等参数。

此次升级后,星脉网络通信性能提升30%,让大模型的训练效率再提升10%。

“排查”更“精准”,从天级到分钟级

星脉网络2.0的运营系统新增了腾讯独家技术灵境仿真平台,可以对网络进行360度无死角立体监控。从过去仅能定位网络问题,升级为精确定位GPU节点问题。

icon腾讯星脉的突出优势

腾讯星脉高性能计算集群,在当今激烈的计算资源竞赛中脱颖而出,展现出与众不同的优势:

超大规模组网能力

腾讯星脉支持单集群内10万张GPU的互联,这不仅是对上一代技术的两倍扩容,更是远超行业平均水平,为构建前所未有的大规模并行计算平台奠定了坚实基础。基于弹性高性能云服务器架构,可实现计算无虚拟化损耗及服务器特性无损。

极致通信效率

通过深度优化的网络架构与协议,腾讯星脉实现了通信效率60%的惊人提升。这意味着在大规模分布式训练场景下,数据交换更为迅速,大幅缩短了模型训练周期,为企业节省了宝贵的时间和成本。

高效故障定位机制

腾讯星脉在故障管理上的革新尤为突出,将故障定位时间从以往的天级别缩短至分钟级。这种即时响应能力,极大增强了系统的稳定性和可靠性,确保计算任务连续无阻,降低了因意外停机导致的数据丢失或项目延期风险。

技术创新与自主可控

作为腾讯自研成果,星脉不仅展现了公司在高性能计算领域的深厚积累与前瞻布局,更重要的是,它赋予了中国企业在关键技术领域更多的自主权与灵活性,降低了对外部技术依赖的风险。

云巴巴,作为腾讯云的紧密合作伙伴,在高性能计算领域积累了丰富的实践经验,深度参与并见证了腾讯星脉网络2.0的飞跃,同时也将继续携手腾讯云,依托腾讯星脉网络2.0的领先技术,为更多企业和研究机构提供定制化的解决方案,助力他们在AI大模型的探索之路上迈出更坚实的步伐。

无论是追求极致的计算性能,还是寻求稳定的生产环境,或是期望快速故障响应与恢复,云巴巴都能提供专业咨询与技术支持。

云巴巴作为一家国内领先的企业数字化转型的服务平台,致力于帮助企业实现数字化升级和优化。作为行业佼佼者,云巴巴积累了丰富的实践经验和深刻的行业洞察力,为不同行业、不同规模的企业提供个性化的解决方案。

云巴巴客户群体广泛,包括金融、医疗、零售、制造等多个行业,并为众多企业创造了数字化转型的成功案例。为了更好地服务客户,云巴巴组建了一支专业的团队,具备多年的行业经验和专业技能,同时也与多个合作伙伴建立了紧密的合作关系。

云巴巴作为腾讯云的重要合作伙伴,双方携手共同为企业用户提供更多优质的产品与服务。目前腾讯云星脉已在云巴巴平台上线,如需了解更多产品信息,请扫描下方二维码与我们联系!

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

数字化案例秀‖易聊AI客服,携手爱尔眼科守护全民健康

数字化案例秀‖易聊AI客服,携手爱尔眼科守护全民健康

易聊AI机器人不仅能够高效处理来访问题,提供优质服务,而且还能降低人工成本,提升工作的效率。

2024-03-27 14:02:14

多模态面部识别一体机助力校园迎新

多模态面部识别一体机助力校园迎新

多模态面部识别一体机是Eyecool推出的一款融合人脸、虹膜及其他面部深度特征,可以实现身份认证和门禁管控等功能的智能产品,它既有人脸识别的便捷性又兼顾虹膜识别的精准性,可以在校园迎新中发挥重大作用。

2022-11-24 10:34:08

身份认证技术都能在哪些方面得到应用

身份认证技术都能在哪些方面得到应用

随着互联网的发展,通讯安全的要求也越发重要,互联网在电子商务、企业管理信息化,以及远程教育等实际应用中还缺乏相应的安全功能,身份认证也愈发受到重视,本篇主要就是针对几种主流的认证技术给大家进行科普。

2022-11-23 15:30:18

何为机器学习,研究机器学习的意义在?

何为机器学习,研究机器学习的意义在?

你可曾听说过机器学习,那么究竟什么是机器学习呢?研究机器学习的意义为何?本篇文章就来和小编一起来看看吧。 机器学习,即Machine Learning,涉及到了概率论、统计学、逼近论、凸分析、算法计算复杂度相关理论等多门学科,是一门多领域存在交叉管理学科

2022-11-22 09:53:12

虹膜识别技术与智能锁之间的“来世今生”在这里呈现给用户

虹膜识别技术与智能锁之间的“来世今生”在这里呈现给用户

虹膜识别技术虽然出现在我们视野里的时间并不长,而且在手机解锁等相关领域内虹膜识别技术还没有得到相关的普及,但是虹膜识别技术在很多方面有着其他生物识别技术所不具备的优势。虽然虹膜识别技术还并没有得到很普遍的普及,但是在一些对安全系数有着更高的场景下虹膜识别技

2022-11-24 10:31:09

天旦入选Gartner最新分析报告,中国AI大势所趋

天旦入选Gartner最新分析报告,中国AI大势所趋

近日,Gartner发布最新分析报告《Competitive Landscape: AI Startups in China》。天旦作为国际领先的业务与网络性能管理领域软件产品企业,国内互联数据技术的先行者与应用落地的领航者,凭借在NLP与ML领域的技术领

2020-01-22 12:54:21

严选云产品

网易易盾移动应用安全检测服务 网易易盾移动应用安全检测服务,全方位覆盖的移动应用程序各个层面,囊括9大方向的检测技术,覆盖Android、iOS移动应用安全全场景。静态与动态检测技术结合,共计Android 77项、iOS 34项个检测项。
奥哲业务中台 构建企业核心业务系统,通过打造敏捷的业务中台,链接前台与后台,实现企业业务在线
蓝凌MK PaaS平台统一业务流程BPM 蓝凌MK PaaS平台,统一业务流程BPM,敏捷业务/ 表单引擎/管理、实施、运维更便捷。Gartner业务流程自动化的五种技术,全生命周期管理的业务流程整合平台。跨系统端到端业务集成,蓝凌LBPM是流程规划、设计、运行、持续优化的流程业务平台。
万里牛 全渠道SaaS ERP 电商ERP首选万里牛-专业的SaaS化电子商务ERP/WMS/CRM/POS系统,提供仓储管理、超市收银系统、数字化中台、智慧零售等服务,主要针对电商、外贸、实体门店等业务群体,帮助企业快速布局新零售,提升订单处理效率,实现数据化业务管理,为企业降本增效。
度言软件智能语音机器人 度言智能云通讯是度言软件旗下专注于金融贷后管理领域的智能云通信平台,致力于提升金融贷后的触达效率和沟通体验。 度言智能云通讯针对金融贷后联络过程中的接通难、合规难、效率低等痛点,创新地运用云计算和人工智能系列技术,研发智能云呼叫中心、短信平台、智能语音机器人、质检平台、BI平台等 产品和服务,可与业内主流的业务管理系统和通讯服务模块快速集成,为客户提供优质的云通讯综合服务,让金融贷后的联络沟通更合规、更高效。
简单云研发项目管理系统ezProject ezProject是ezOne产品系列中的项目管理平台,提供需求和缺陷管理、计划管理、自定义查询和项目报表等功能;支持列表视图、看板视图、拖拽、多种工作项类型、自定义字段、工作流及模板。和ezOne其他产品搭配,实现整个研发过程可视化,可跟踪,可度量、可审计。 立即使用

甄选10000+数字化产品 为您免费使用

申请试用