榜單發布人、清華大學計算機系長聘翟季冬教授介紹說，AIPerf是面向智能算力評估的國際性排行榜，其于2020年首次在中國超級算力大會上發布榜單。相比傳統超算性能排行榜，AIPerf榜單是對智能算力評測領域的有效補充。
清華大學翟季冬教授發布AIPerf榜單
“中國的智算、超算等算力發展非常迅速，許多省市都建設了智算中心。”翟季冬說，對于公眾而言，人們需要一個簡單明晰的指標來了解“哪個智算中心的算力更強”“智算中心的算力到底如何”等問題，AIPerf就是在此背景下誕生的。
今年的AIPerf延續了2024年的做法，包含三部分：采用經典卷積模型評價智能算力訓練性能的AIPerf、以大語言模型訓練效果評價智能算力性能的AIPerf-LLM、以大模型推理效能評價智能算力性能的AIPerf-Inference。
據介紹，AIPerf測試程序具有“提供一個分數”“可變計算規模”“計算有人工智能意義”“多機通信可以少但不能沒有”等特點，其得分結果對于可測評系統的訓練性能有直觀反映。
在今年的排行榜上，北京超級云計算中心提交的兩臺新機器榜上有名，分別位列該榜單第一、第三位。作為，位于榜首的“新面孔”，北京超級云計算中心以NVIDIA RTX5090打造的系統，共有1194個節點，總卡數近萬張；此前的榜首、由鵬城實驗室與華為公司聯合打造的AI計算系統——“鵬城云腦II”屈居次席。
基于AIPerf-LLM，翟季冬發布了以“大模型訓練能力”作為區分的算力排行榜。在可測的若干智能計算系統中，北京超級云計算中心、阿里云部署在復旦大學的智算集群等位列前茅。
AIPerf-Inference有兩個榜單，分別為“吞吐榜”和“延遲榜”，以適應不同推理任務的不同特征需要。其中，在“吞吐榜”上，北京超級云計算中心2臺智算系統、新疆數算電科技技術有限責任公司和北京清程極智科技有限公司共同開發的系統位列榜單 Top3。
張云泉研究員和翟季冬教授為上榜單位（部分）頒發證書
隨著AI的發展，我們計劃增加一個以大模型Tokens調用性能為評測基準的榜單AIPing (aiping.cn)，評測不同MaaS平臺的服務性能。現在還在籌劃階段，希望征求一下同行領域專家的建議。翟季冬說，目前團隊已經在這方面做了一些準備和測試工作，“今年只是拋一個磚，未來希望有更多的MaaS（模型作為服務）平臺開展性能測試”。
