AI大模型時代網路設備需求爆發 探討未來創新與投資機遇

網路在AI大模型時代扮演關鍵角色

大模型時代,光模塊、交換機等網路設備迭代加速,需求爆發。本文從原理出發,探討網路爲何成爲AI時代的重要一環,並討論未來網路側的創新與投資機會。

網路需求來源

1. 模型體積與單卡上限差距拉大,轉向多服務器集羣訓練,構成網路重要性基礎。

2. 網路更多用於同步顯卡間模型參數,對密度、容量要求提高。

3. 訓練耗時=數據規模x參數量/計算速率。計算速率=單設備速率x設備數x並行效率。擴大設備數和並行效率成爲關鍵。

4. 多卡同步復雜:每次計算後需對齊,All-to-All操作常見,對傳輸和交換要求高。

5. 故障成本高:訓練持續數月,中斷需回到斷點重新訓練,網路穩定性至關重要。

網路創新方向

1. 通信介質:光、銅、硅介質更新,LPO、LRO、硅光等降本技術發展。

2. 網路協議:片間通信與節點間通信協議競爭。

3. 網路架構:葉脊架構向Dragonfly、rail-only等新架構演進。

投資建議

通信系統核心環節:中際旭創、新易盛、天孚通信、工業富聯、英維克、滬電股份。

通信系統創新環節:長飛光纖、太辰光、源傑科技、盛科通信-U、寒武紀、德科立。

風險提示

1. AI需求不及預期
2. Scaling law失效
3. 行業競爭加劇

網路重要性認識

通信在AI時代重要性體現在:

1. 顯卡數量和連接效率決定訓練時間,時間是競爭關鍵資源。

2. 訓練中每層運算後需對齊參數,對網路要求極高。

3. 網路故障成本高,中斷會嚴重影響訓練效率和成本。

4. 集羣規模達萬卡,連接部件數十萬,系統穩定性要求高。

網路創新方向認識

1. 降本、開放和算力規模平衡是主要議題。

2. 通信介質創新:光、銅、硅介質進步,LPO、LRO、硅光等新技術。

3. 通信協議創新:節點內(如NVLINK)和節點間(IB vs 以太網)協議競爭。

4. 網路架構更新:葉脊架構向Drangonfly、Rail-only等新架構演進。

從雲計算到AI時代,通信重要性提升

1. AI對網路連接需求爆發,參數規模膨脹導致單卡無法承載。

2. 訓練耗時=數據規模x參數量/計算速率,堆疊算力成爲關鍵。

3. 計算速率=單設備速率x設備數x並行效率,設備數和並行效率變得同樣重要。

4. 網路成爲提升設備數和並行效率的關鍵,英偉達收購Mellanox即爲此考慮。

大模型訓練中的多卡合作

1. 數據並行:每GPU保留完整模型,分割數據訓練。

2. 模型並行:將模型分割到不同GPU,包括張量並行和流水線並行。

3. 多維混合並行:結合多種並行方式,劃分多個Stage進行訓練。

4. 各種並行方式均需進行參數同步,對網路提出不同要求。

多卡互聯核心:同步的準確率

1. 反向廣播進行參數對齊,All-to-All延遲是關鍵指標。

2. 同步方式包括同步並行、異步並行、All-Reduce等。

3. Ring All-Reduce等優化算法可降低帶寬和延遲。

4. 需要網路硬件支持,如NVLink、IB協議等。

系統工程:監測-總結-創新的迭代

1. 需要實時監測數據流動、運行態勢。

2. 軟硬件抓包是主要監測手段,如Wireshark等。

3. DPI/DFI等硬件串並接技術可實現無損監測。

4. 基於監測結果不斷優化系統穩定性和效率。

通信協議的競爭與迭代

1. 節點內通信:PCIe、NVLink、Infinity Fabric等。

2. 節點間通信:InfiniBand vs 以太網RoCE協議族。

3. RDMA成爲AI集羣連接的剛需。

4. 英偉達IB協議vs AMD領銜的超以太網聯盟。

網路硬件創新方向

1. 傳輸介質:光、銅、硅之爭,性價比和穩定性是關鍵。

2. 交換機:光交換機興起,電交換機芯片創新。

3. 網路架構:葉脊架構向Dragonfly、Rail-only等演進。

4. 數據中心集羣:跨數據中心互聯成爲新焦點。

投資建議

1. 關注交換機、光模塊等基礎硬件。

2. 跟蹤LPO、CPO、特種光纖等新技術帶來的機會。

3. 關注國產交換機加速進化的機會。

風險提示

1. AI需求不及預期
2. Scaling law失效
3. 行業競爭加劇