AI大模型时代网络设备需求爆发 探讨未来创新与投资机遇

网络在AI大模型时代扮演关键角色

大模型时代,光模块、交换机等网络设备迭代加速,需求爆发。本文从原理出发,探讨网络为何成为AI时代的重要一环,并讨论未来网络侧的创新与投资机会。

网络需求来源

1. 模型体积与单卡上限差距拉大,转向多服务器集群训练,构成网络重要性基础。

2. 网络更多用于同步显卡间模型参数,对密度、容量要求提高。

3. 训练耗时=数据规模x参数量/计算速率。计算速率=单设备速率x设备数x并行效率。扩大设备数和并行效率成为关键。

4. 多卡同步复杂:每次计算后需对齐,All-to-All操作常见,对传输和交换要求高。

5. 故障成本高:训练持续数月,中断需回到断点重新训练,网络稳定性至关重要。

网络创新方向

1. 通信介质:光、铜、硅介质更新,LPO、LRO、硅光等降本技术发展。

2. 网络协议:片间通信与节点间通信协议竞争。

3. 网络架构:叶脊架构向Dragonfly、rail-only等新架构演进。

投资建议

通信系统核心环节:中际旭创、新易盛、天孚通信、工业富联、英维克、沪电股份。

通信系统创新环节:长飞光纤、太辰光、源杰科技、盛科通信-U、寒武纪、德科立。

风险提示

1. AI需求不及预期
2. Scaling law失效
3. 行业竞争加剧

网络重要性认识

通信在AI时代重要性体现在:

1. 显卡数量和连接效率决定训练时间,时间是竞争关键资源。

2. 训练中每层运算后需对齐参数,对网络要求极高。

3. 网络故障成本高,中断会严重影响训练效率和成本。

4. 集群规模达万卡,连接部件数十万,系统稳定性要求高。

网络创新方向认识

1. 降本、开放和算力规模平衡是主要议题。

2. 通信介质创新:光、铜、硅介质进步,LPO、LRO、硅光等新技术。

3. 通信协议创新:节点内(如NVLINK)和节点间(IB vs 以太网)协议竞争。

4. 网络架构更新:叶脊架构向Drangonfly、Rail-only等新架构演进。

从云计算到AI时代,通信重要性提升

1. AI对网络连接需求爆发,参数规模膨胀导致单卡无法承载。

2. 训练耗时=数据规模x参数量/计算速率,堆叠算力成为关键。

3. 计算速率=单设备速率x设备数x并行效率,设备数和并行效率变得同样重要。

4. 网络成为提升设备数和并行效率的关键,英伟达收购Mellanox即为此考虑。

大模型训练中的多卡合作

1. 数据并行:每GPU保留完整模型,分割数据训练。

2. 模型并行:将模型分割到不同GPU,包括张量并行和流水线并行。

3. 多维混合并行:结合多种并行方式,划分多个Stage进行训练。

4. 各种并行方式均需进行参数同步,对网络提出不同要求。

多卡互联核心:同步的准确率

1. 反向广播进行参数对齐,All-to-All延迟是关键指标。

2. 同步方式包括同步并行、异步并行、All-Reduce等。

3. Ring All-Reduce等优化算法可降低带宽和延迟。

4. 需要网络硬件支持,如NVLink、IB协议等。

系统工程:监测-总结-创新的迭代

1. 需要实时监测数据流动、运行态势。

2. 软硬件抓包是主要监测手段,如Wireshark等。

3. DPI/DFI等硬件串并接技术可实现无损监测。

4. 基于监测结果不断优化系统稳定性和效率。

通信协议的竞争与迭代

1. 节点内通信:PCIe、NVLink、Infinity Fabric等。

2. 节点间通信:InfiniBand vs 以太网RoCE协议族。

3. RDMA成为AI集群连接的刚需。

4. 英伟达IB协议vs AMD领衔的超以太网联盟。

网络硬件创新方向

1. 传输介质:光、铜、硅之争,性价比和稳定性是关键。

2. 交换机:光交换机兴起,电交换机芯片创新。

3. 网络架构:叶脊架构向Dragonfly、Rail-only等演进。

4. 数据中心集群:跨数据中心互联成为新焦点。

投资建议

1. 关注交换机、光模块等基础硬件。

2. 跟踪LPO、CPO、特种光纤等新技术带来的机会。

3. 关注国产交换机加速进化的机会。

风险提示

1. AI需求不及预期
2. Scaling law失效
3. 行业竞争加剧