北京2024年4月26日 /美通社/ -- 近日，在IPF2024上，浪潮信息正式發(fā)布了專門面向生成式AI的超級AI以太網(wǎng)交換機(jī)——X400，這是國內(nèi)首款基于NVIDIA Spectrum-X平臺打造的以太網(wǎng)交換機(jī)，吞吐量達(dá)業(yè)界最高的51.2T，較上一代產(chǎn)品提升了4倍，在4U空間可提供128個400Gb/s 的高速網(wǎng)絡(luò)端口，在其高吞吐量、低延遲、高可靠性等優(yōu)勢的加持下，比傳統(tǒng)的RoCE網(wǎng)絡(luò)性能提升了1.6倍，為大規(guī)模算力提供領(lǐng)先的AI網(wǎng)絡(luò)性能。
超級AI以太網(wǎng)交換機(jī)X400是雙方聯(lián)合創(chuàng)新的結(jié)晶，專門面向生成式AI打造，X400在標(biāo)準(zhǔn)以太網(wǎng)絡(luò)上實現(xiàn)了與專用網(wǎng)絡(luò)架構(gòu)相當(dāng)?shù)木W(wǎng)絡(luò)性能，確保客戶以更理想的方式建設(shè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施，這將極大提升AI模型迭代與業(yè)務(wù)創(chuàng)新的速度。
目前，我們面臨的用于人工智能基礎(chǔ)模型的計算能力不足、訓(xùn)練成本高等問題，原因之一就是傳統(tǒng)網(wǎng)絡(luò)的效率低下，導(dǎo)致GPU多節(jié)點間通信時的效率偏低。在訓(xùn)練基礎(chǔ)模型中，網(wǎng)絡(luò)通信往往占到20%到40%的時間，在進(jìn)行梯度和參數(shù)同步時，浪費了寶貴的GPU資源。
面向這種生成式AI場景的網(wǎng)絡(luò)互連瓶頸，會上發(fā)布首款專門面向AI的以太網(wǎng)交換機(jī)X400，采用了NVIDIA的Spectrum-4 交換芯片，這是NVIDIA的第五代以太網(wǎng)交換芯片，助力X400達(dá)到了業(yè)界領(lǐng)先的數(shù)據(jù)包處理速率、全線速性能和超低直通（pass-through）延遲，通過動態(tài)路由（Adaptive Routing）和增強(qiáng)擁塞控制技術(shù)，實現(xiàn)了95%以上的以太網(wǎng)網(wǎng)絡(luò)利用率，處于業(yè)界領(lǐng)先，依托完全共享的數(shù)據(jù)包緩沖區(qū)架構(gòu)，動態(tài)地為所有端口提供公平且無瓶頸的數(shù)據(jù)路徑，成為構(gòu)建面向AI場景的高性能RoCE網(wǎng)絡(luò)的理想產(chǎn)品，滿足生成式AI、大型語言模型、推薦系統(tǒng)、視頻分析等帶寬密集型應(yīng)用的超高網(wǎng)絡(luò)性能需求。
超級AI以太網(wǎng)交換機(jī)X400是一款采用開放架構(gòu)設(shè)計的高性能AI交換機(jī)，實現(xiàn)了軟硬件的分層解耦，基于百度、阿里、騰訊等云計算廠商聯(lián)合制定的S3IP開放標(biāo)準(zhǔn)，支持開源SONiC及第三方網(wǎng)絡(luò)OS，實現(xiàn)了業(yè)務(wù)應(yīng)用和網(wǎng)絡(luò)協(xié)議的靈活拓展，滿足了不同客戶對交換機(jī)的定制化需求。同時，為保證用戶AIGC網(wǎng)絡(luò)的穩(wěn)定性，X400搭載了獨創(chuàng)的IGE智能防護(hù)引擎，提供關(guān)鍵部件偵測、軟件關(guān)鍵進(jìn)程監(jiān)控、內(nèi)存糾錯、雙Flash冗余切換等多種故障預(yù)防機(jī)制，實現(xiàn)了對設(shè)備的全面可靠性保護(hù)。此外，X400還搭載集監(jiān)控和配置于一體的O&M智能運維平臺，支持Spectrum-4 的WJH（what just happened）功能，通過底層芯片和軟件工具收集數(shù)據(jù)包粒度的可見性數(shù)據(jù)和事件觸發(fā)信息，實時掌握網(wǎng)絡(luò)與設(shè)備的健康狀況，結(jié)合創(chuàng)新的故障自愈技術(shù)，極大地提升了網(wǎng)絡(luò)設(shè)備的高可用性，助力客戶構(gòu)建可視、可控、可靠的AI大模型訓(xùn)練網(wǎng)絡(luò)。
方案層面，超級AI以太網(wǎng)交換機(jī) X400基于開源SONiC研發(fā)的UXOS網(wǎng)絡(luò)操作系統(tǒng)、NVIDIA BlueField-3 SuperNICs等，為用戶構(gòu)建面向生成式AI場景的端到端高性能網(wǎng)絡(luò)解決方案 AI Fabric，組網(wǎng)規(guī)模可彈性擴(kuò)展至51.2萬個GPU的超大規(guī)模AI系統(tǒng)，憑借AR動態(tài)路由、端到端擁塞控制、亞毫秒級故障自愈等技術(shù)，性能提升至傳統(tǒng)RoCE網(wǎng)絡(luò)性能1.6倍，達(dá)到以太網(wǎng)RoCE的性能極限，實現(xiàn)了AI網(wǎng)絡(luò)的超高吞吐量、高可擴(kuò)展性和超高可靠性。測試數(shù)據(jù)表明，該方案能顯著提升大模型訓(xùn)練性能，相比傳統(tǒng)RoCE網(wǎng)絡(luò)方案，這種AI網(wǎng)絡(luò)的帶寬利用率超過95%，通信時延降低30%，NVIDIA Megatron-LM大模型訓(xùn)練速度最高可以提升70%，大幅縮短訓(xùn)練時長并降低訓(xùn)練成本。
