中國信通院專家李論：面向大模型的智算集群建設有三個要點

  ICC訊 9月27日，以“探索AI邊界重構數字場景”為主題2024產學研融通創新活動在北京正式召開，26位演講嘉賓齊聚，共話生成式人工智能的關鍵技術與應用趨勢，共探AI大模型在7大領域的應用落地。中國信通院人工智能研究所軟硬件與生態部主任李論發表了《大模型應用落地趨勢與路徑》主題演講，在詳述大模型的范式變遷與模型演進的同時，強調了底座支撐作用。她指出，模型的原始創新與大模型訓推系統深度耦合，大模型落地時，計算能力決定了大模型性能天花板。

2024產學研融通創新活動

  布局重點及建設要點

  大模型落地過程中，AI+HPC融合的萬卡集群是布局重點，其中蘊藏著眾多機遇，也是難點與卡點。針對此，李論提出，面向大模型的智算集群建設有三個要點：

  一是軟硬高效協同的新型基礎設施。整個人工智能產業鏈的形態正發生變化，早期產業呈現出明顯的水平化特征，而今天，主導路線變成了大模型、大數據、大算力，以模型為核心的產業鏈上下游關聯變革，底層的產業鏈體系架構在向基礎設施的方向發展，芯片從單點變成了大規模的集群，平臺的集約性等更為凸顯，大模型訓推需求上下傳導至產業鏈各個環節，新型基礎設施體系正在形成。

  二是算力效能極致優化提升。在構建底座的過程中，Scale up(縱向優化)和Scale out(水平拓展)相互結合，對軟硬件支撐水平和全棧整合能力提出更大挑戰。一方面，硬件與軟件的協同適配問題仍是重點;另一方面，規模擴展到千卡、萬卡時，追求線性集群擴展能力難度較大，依舊是需要工程界和學術界共同解決的問題。

  三是支持超大規模擴展的網絡架構。這需要基于自身需求、結合大模型訓練特點推出定制化組網方案，并為更大集群拓展做好準備。當前，面向大語言模型的定制化、國產化、規?；募軜嬻w系也在不斷出現。

中國信通院人工智能研究所軟硬件與生態部主任李論

  挑戰與調整建議

  對于底座支撐整體，李論認為挑戰包括三個方面：如何準確度量智算集群系統的實際算力?軟硬件協同不深，如何增強智算生態韌性?智算建設浪潮后，如何可持續運營與服務?

  面對這些問題，李論給出了調整建議：一是提升智算基礎設施規劃水平，對產品技術選型、應用場景需求、市場競爭格局、投資收益等進行充分調研、精準測算;二是加快推動國產軟硬件廠商兼容適配，推動面向大模型的人工智能訓推集群建設的標準化和規范化;三是引導鼓勵智算集群差異化發展運營，重視智算生態運營，結合區域特點制定差異化智算生態發展策略。

  對于大模型的未來發展，李論也提出了展望：“未來一段時間，模型水平發展仍將遵循規模定律，計算在一定情況下決定了大模型規模的天花板。底層是軟硬高效協同的大系統，中間層是以Transformer架構為核心驅動通用智能探索的大算法，上層模型平臺是以模型為中心的大生態?！?