AI時代的網路:需求緣起與創新方向

隨着大模型的興起,網路在AI基礎設施中的地位愈發重要。本文將從原理出發,探討網路爲何成爲AI時代的關鍵一環,並分析未來網路側的創新趨勢與投資機會。

1. 網路需求的來源

大模型時代,模型體積與單卡算力上限差距迅速拉大,多服務器集羣成爲解決方案,這構成了AI時代網路重要性提升的基礎。相較於過去單純用於傳輸數據,如今網路更多用於同步顯卡間的模型參數,對網路密度和容量提出更高要求。

日益龐大的模型體積:

• 訓練耗時 = 訓練數據規模 x 模型參數量 / 計算速率
• 計算速率 = 單設備計算速率 x 設備數 x 多設備並行效率

在追求更大規模訓練數據和參數的同時,提升計算效率成爲縮短訓練時間的關鍵。而如何通過網路擴大"設備數"和提高"並行效率"直接決定了算力水平。

多卡同步的復雜溝通: 在大模型訓練中,將模型切分至單卡後,每次計算後都需要進行對齊(Reduce、Gather等)。英偉達的NCCL通信原語中,All-to-All(所有節點互相獲取值並對齊)操作較爲常見,對網路傳輸和交換提出更高要求。

愈發昂貴的故障成本: 大模型訓練往往持續數月,中斷後需要回到之前的斷點重新訓練。網路中任一環節的故障或高延遲都可能導致中斷,造成進度落後和成本上升。現代AI網路已發展成堪比飛機、航母等的復雜系統工程。

2. 網路創新的方向

在算力投資規模膨脹、模型參數持續擴張的背景下,"降本"、"開放"和算力規模的平衡成爲網路創新的主要議題。

通信介質的更迭: 光、銅與硅是人類傳輸的三大介質。AI時代,光模塊在追求更高速率的同時,也開始了LPO、LRO、硅光等降本之路。銅纜憑藉性價比和低故障率佔領了機櫃內連接。Chiplet、Wafer-scaling等新半導體技術正在探索硅基互聯的上限。

網路協議的競爭: 片間通信協議與顯卡強綁定,如英偉達的NV-LINK、AMD的Infinity Fabric等,決定了單臺服務器或單個算力節點的能力上限,是巨頭的激烈競爭領域。節點間通信則主要圍繞IB與以太網展開競爭。

網路架構的變化: 當前節點間網路架構普遍採用葉脊架構,具有便捷、簡單、穩定等特點。但隨着單個集羣節點數增多,葉脊架構在超大集羣中顯得冗餘,帶來較大網路成本。Dragonfly架構、rail-only架構等新方案有望成爲面向下一代超大集羣的演進方向。

3. 投資建議

通信系統核心環節: 中際旭創、新易盛、天孚通信、工業富聯、英維克、滬電股份

通信系統創新環節: 長飛光纖、太辰光、源傑科技、盛科通信-U、寒武紀、德科立

4. 風險提示

• AI需求不及預期
• Scaling law失效
• 行業競爭加劇