北京2023年9月21日 /美通社/ -- 隨著生成式AI快速發展，人工智能在各行各業廣泛應用，AI算力需求劇增，AI芯片多元化趨勢凸顯，帶來了芯片開發成本高、多元芯片使用難等挑戰。近日，浪潮信息面向全行業公布了《開放加速規范AI服務器設計指南》（以下簡稱《指南》）。《指南》基于浪潮信息在開放加速計算領域豐富的產品研發和工程實踐經驗，為AI加速卡和系統設計提供參考，大幅縮短AI加速卡與AI服務器的適配周期，促進生成式AI多元算力發展，助力用戶把握生成式AI爆發帶來的算力產業巨大機遇。
AI算力需求爆發，芯片多元化難題亟需破解
當前，生成式AI技術飛速發展，引領了新一輪AI創新浪潮。隨之而來的是生成式AI算力需求猛增，推動算力產業轉型升級。Henessy和Patterson在幾年前的《計算機架構的新黃金時代》中就引入了特定領域體系架構（Domain Specific Architectures，DSAs）的概念，即隨著通用算力技術的演進逐漸減緩，針對特定問題或領域定制計算架構變得愈發重要。基于DSAs思想設計的AI計算芯片，在特定人工智能工作負載下展現出超越通用芯片的處理能力，這極大地推動了多元化AI芯片的發展。
目前，全球已有上百家公司投入新型AI加速芯片的開發，但也帶來了新的挑戰。主要表現在，單機性能、功耗和擴展性更高，算力平臺規模更大，對卡間互聯、網絡帶寬和延遲提出了更高的要求。加速卡間通信的數據量越來越多，僅僅通過傳統的PCIe P2P通信已經無法滿足超大規模深度學習模型的要求。
為了解決這些問題，芯片公司相繼推出了各自非標準PCIe CEM形態的AI加速卡，這些新形態的AI加速卡支持更高的功耗和更強大的卡間互聯能力。但不同廠商采用不同技術路線，導致不同芯片需要定制化的系統硬件平臺承載，系統平臺研發通常大約需要6到12個月的時間。專有AI計算硬件系統開發周期長、研發成本高，嚴重阻礙了新型AI加速芯片的研發創新和應用推廣。
OAI架構為超大規模深度神經網絡模型而生
開放計算組織OCP在2019年發布了專門面向大模型訓練的開放加速計算（OAI）系統架構。Mezz扣卡形態的加速器具備更高的散熱和互聯能力，可以承載具有更高算力的芯片。同時，它有非常強的跨節點擴展能力，可以很輕易地擴展到千卡、萬卡級的平臺，支撐大模型的訓練。這個架構是天然適用于超大規模深度神經網絡訓練的計算架構。
但是，在產業落地過程中，很多廠商所開發的加速卡依然存在硬件接口不統一、互連協議不統一，同時軟件生態互不兼容，帶來了新型AI加速卡系統適配周期長、定制投入成本高的落地難題，導致算力供給和算力需求之間的剪刀差不斷加大，行業亟需更加開放的算力平臺，以及更加多元的算力支撐大模型的訓練。
此外，由于各種類型AI芯片的連接接入標準不同，用戶在使用多元AI芯片系統時還會遇到系統適配、芯片驅動、互聯互通、功耗管理、安全傳輸、易用性等各類問題，使用戶在部署多元AI芯片算力系統時面臨巨大挑戰。
從開放加速基板到千卡算力平臺落地，浪潮信息的多元算力之路
芯片多元化、芯片生態割裂化是人工智能發展道路上必須要解決的挑戰。基于這一洞察，浪潮信息從2018年就開始布局，持續推進開放加速規范（OAM）建立和產品技術創新，力圖從系統架構層面幫助芯片廠商降低適配周期和研發成本，助力用戶更快速、更方便地使用多元AI算力。
浪潮信息做的首要工作是打造一款通用加速器基板UBB，能夠兼容多種OAM芯片，并在此基礎上研發計算系統。2019年，浪潮信息開發出了首個開放加速計算系統MX1。MX1采用高帶寬、雙供電等技術，21英寸系統可支持多種符合OAM規范的AI加速器，芯片互聯總帶寬達到224Gbps，并提供全互聯（Fully-connected）和混合立體互聯HCM（Hybrid Cube Mesh）兩種互聯拓撲，方便用戶針對不同神經網絡模型，根據芯片通信的需求靈活設計芯片互聯方案。
MX1推出后，市場需求表明，多元芯片大規模落地需要整機服務器的支持，因此浪潮信息又投入力量進行OAM服務器的研發。2021年，浪潮信息發布業界首款OAM服務器NF5498A5，在19英寸機箱中集成集成8顆OAM加速卡和2顆高性能CPU，卡間互連帶寬448 GB/s。2022年，推出液冷OAM服務器"錢塘江"，實現8顆OAM加速器和兩顆高功耗的CPU的液冷散熱，液冷散熱覆蓋率超過90%，基于"錢塘江"構建的液冷OAM智算中心解決方案，千卡平臺穩定運行狀態下PUE值小于1.1。今年又發布了新一代開放加速AI服務器NF5698G7，支持8顆OAM高速互聯的Gaudi2加速器，基于全PCIe Gen5鏈路，H2D互聯能力提升4倍，提供強大的大模型訓練和推理能力。
同時，針對多元芯片管理和調度難題，浪潮信息推出了AIStation人工智能平臺，可高效調度30多款AI芯片。通過適配浪潮信息提供的AI芯片算力接入規范，AI芯片即可快速接入AIStation平臺，幫助用戶降低多元AI芯片的使用和管理難度。
浪潮信息的多元AI算力產品方案得到了眾多用戶的認可，已經在多個智算中心應用落地，成功支持GPT-2、源1.0及實驗室自研蛋白質結構預測等多個超大規模巨量模型的高效訓練，并部署了智能寫詩助手應用，讓人們親身體驗源1.0大模型的超強語言智能，加速生成式AI應用落地。
面向全行業公布《指南》，以開放規范應對生成式AI挑戰
基于豐富的多元算力產品研發和工程實踐經驗，浪潮信息于近期面向全行業公布了《開放加速規范AI服務器設計指南》，希望幫助業界高效開發符合開放加速規范的AI加速卡，并大幅縮短與AI服務器的適配周期，為用戶提供最佳匹配應用場景的AI算力產品方案。
《指南》指出，開放加速規范AI服務器設計應遵循四大設計原則，即應用導向、多元開放、綠色高效、統籌設計。在此基礎上，應采用多維協同設計、全面系統測試和性能測評調優的設計方法。
具體而言，生成式AI計算系統是一體化高集成度算力集群。《指南》給出了從節點到集群的軟硬全棧參考設計，指導系統廠商和芯片廠商在規劃初期做好全方位、多維度的協同，最大化減少定制開發內容。
全面系統測試中，浪潮信息將在OAM領域創新實踐中遇到的問題，細化放入《指南》之中，從而增強新研發系統的穩定性和可靠性。《指南》對結構、散熱、壓力、穩定性、軟件兼容性等方面的測試要點進行了全面梳理，幫助用戶進行更加全面、嚴苛的測試，最大程度降低系統生產、部署、運行過程中的故障風險，提高系統穩定性，減少斷點對訓練持續性的影響。
生成式AI對計算系統的性能要求更高。浪潮信息將在全球權威AI基準評測MLPerf等測試中問鼎冠軍的實戰測試優化經驗，也呈現在了《指南》中。《指南》給出了基礎性能、互連性能、模型性能測試的要點和指標，并指出了針對大模型訓練和推理性能調優的要點，以確保開放加速規范AI服務器能夠有效支撐當前主流大模型的創新應用。
面對生成式AI帶來的算力挑戰，浪潮信息將秉持開放、開源的理念，攜手產業鏈上下游合作伙伴，加速推進多元AI算力產品方案落地，助力用戶構建高效穩定的AI算力平臺，照亮生成式AI的前路，推動更多行業加速智慧轉型。
