榜單發(fā)布人、清華大學(xué)計算機系長聘翟季冬教授介紹說，AIPerf是面向智能算力評估的國際性排行榜，其于2020年首次在中國超級算力大會上發(fā)布榜單。相比傳統(tǒng)超算性能排行榜，AIPerf榜單是對智能算力評測領(lǐng)域的有效補充。
清華大學(xué)翟季冬教授發(fā)布AIPerf榜單
“中國的智算、超算等算力發(fā)展非常迅速，許多省市都建設(shè)了智算中心。”翟季冬說，對于公眾而言，人們需要一個簡單明晰的指標(biāo)來了解“哪個智算中心的算力更強”“智算中心的算力到底如何”等問題，AIPerf就是在此背景下誕生的。
今年的AIPerf延續(xù)了2024年的做法，包含三部分：采用經(jīng)典卷積模型評價智能算力訓(xùn)練性能的AIPerf、以大語言模型訓(xùn)練效果評價智能算力性能的AIPerf-LLM、以大模型推理效能評價智能算力性能的AIPerf-Inference。
據(jù)介紹，AIPerf測試程序具有“提供一個分?jǐn)?shù)”“可變計算規(guī)模”“計算有人工智能意義”“多機通信可以少但不能沒有”等特點，其得分結(jié)果對于可測評系統(tǒng)的訓(xùn)練性能有直觀反映。
在今年的排行榜上，北京超級云計算中心提交的兩臺新機器榜上有名，分別位列該榜單第一、第三位。作為，位于榜首的“新面孔”，北京超級云計算中心以NVIDIA RTX5090打造的系統(tǒng)，共有1194個節(jié)點，總卡數(shù)近萬張；此前的榜首、由鵬城實驗室與華為公司聯(lián)合打造的AI計算系統(tǒng)——“鵬城云腦II”屈居次席。
基于AIPerf-LLM，翟季冬發(fā)布了以“大模型訓(xùn)練能力”作為區(qū)分的算力排行榜。在可測的若干智能計算系統(tǒng)中，北京超級云計算中心、阿里云部署在復(fù)旦大學(xué)的智算集群等位列前茅。
AIPerf-Inference有兩個榜單，分別為“吞吐榜”和“延遲榜”，以適應(yīng)不同推理任務(wù)的不同特征需要。其中，在“吞吐榜”上，北京超級云計算中心2臺智算系統(tǒng)、新疆?dāng)?shù)算電科技技術(shù)有限責(zé)任公司和北京清程極智科技有限公司共同開發(fā)的系統(tǒng)位列榜單 Top3。
張云泉研究員和翟季冬教授為上榜單位（部分）頒發(fā)證書
隨著AI的發(fā)展，我們計劃增加一個以大模型Tokens調(diào)用性能為評測基準(zhǔn)的榜單AIPing (aiping.cn)，評測不同MaaS平臺的服務(wù)性能。現(xiàn)在還在籌劃階段，希望征求一下同行領(lǐng)域?qū)＜业慕ㄗh。翟季冬說，目前團隊已經(jīng)在這方面做了一些準(zhǔn)備和測試工作，“今年只是拋一個磚，未來希望有更多的MaaS（模型作為服務(wù)）平臺開展性能測試”。
