В епоху великих моделей ШІ попит на мережеве обладнання вибухає. Розгляд майбутніх інновацій та інвестиційних можливостей.

Мережа відіграє ключову роль в епоху великих моделей ШІ

У епоху великих моделей прискорюється ітерація мережевих пристроїв, таких як оптичні модулі та комутатори, і виникає бум попиту. У цій статті з принципів обговорюється, чому мережа стала важливою складовою епохи ШІ, а також обговорюються можливості інновацій та інвестицій у мережевому сегменті в майбутньому.

Джерела мережевих вимог

1. Розрив між обсягом моделі та максимальними можливостями однієї карти збільшується, переходячи до навчання на багатьох серверах, що формує базу важливості мережі.

2. Мережа більше використовується для синхронізації параметрів моделі між відеокартами, підвищуючи вимоги до щільності та ємності.

3. Час тренування = обсяг даних x кількість параметрів / швидкість обчислень. Швидкість обчислень = швидкість одного пристрою x кількість пристроїв x ефективність паралелізму. Збільшення кількості пристроїв та ефективності паралелізму стає ключовим.

4. Складна синхронізація декількох карт: після кожного обчислення потрібно вирівнювати, операції All-to-All є поширеними, високі вимоги до передачі та обміну.

5. Високі витрати на відмови: навчання триває кілька місяців, при перервах потрібно повертатися до точки зупинки для повторного навчання, стабільність мережі є надзвичайно важливою.

Напрямки мережевих інновацій

1. Комунікаційні засоби: оновлення оптичних, мідних та кремнієвих матеріалів, розвиток технологій зниження витрат, таких як LPO, LRO, кремнієва оптика тощо.

2. Мережеві протоколи: конкуренція між протоколами зв'язку між сегментами та між вузлами.

3. Мережева архітектура: еволюція архітектури Leaf Spine до нових архітектур, таких як Dragonfly, rail-only тощо.

Інвестиційні поради

Основна ланка системи зв'язку: Zhongji Innolight, Xin Yisheng, Tianfu Communication, Industrial Fortune Union, Invic, Shanghai Electric Co., Ltd.

Інновації в системах зв'язку: YOFC, Tetherlight, Yuanjie Technology, Centec Communications-U, Cambrian, Taclink.

Попередження про ризики

1. Попит на ІІ не виправдав очікувань
2. Закон масштабу втратив силу
3. Посилення конкуренції в галузі

Розуміння важливості мережі

Важливість комунікації в епоху ШІ проявляється в:

1. Кількість графічних карт і ефективність з'єднання визначають час навчання, час є ключовим конкурентним ресурсом.

2. Після кожного обчислення на кожному шарі під час навчання необхідно вирівнювати параметри, що висуває надзвичайно високі вимоги до мережі.

3. Витрати на мережеві збої високі, перерви можуть серйозно вплинути на ефективність навчання та витрати.

4. Масштаб кластера досягає десятків тисяч, кількість підключених компонентів - сотні тисяч, вимоги до стабільності системи високі.

Розуміння напрямків інновацій в мережі

1. Зниження витрат, відкритість і баланс масштабів обчислювальної потужності є основними темами.

2. Інновації в комунікаційних середовищах: прогрес у світлових, мідних, кремнієвих середовищах, нові технології LPO, LRO, кремнієва оптика тощо.

3. Інновації комунікаційного протоколу: внутрішній (, як NVLINK ), і міжвузловий (, який конкурує з протоколом IB та Ethernet ).

4. Оновлення мережевої архітектури: еволюція архітектури Leaf-Spine до нових архітектур, таких як Dragonfly, Rail-only тощо.

Від хмарних обчислень до епохи ШІ, зростає важливість комунікацій

1. Вибуховий попит на мережеві з'єднання з боку ШІ, масштаб параметрів розширюється, внаслідок чого одна карта не може витримати.

2. Час тренування = обсяг даних x кількість параметрів / швидкість обчислень, накопичення обчислювальної потужності стає ключовим.

3. Швидкість обчислення = швидкість одного пристрою x кількість пристроїв x ефективність паралелізму, кількість пристроїв і ефективність паралелізму стають однаково важливими.

4. Мережа стала ключовою для збільшення кількості пристроїв і паралельної ефективності, придбання Mellanox компанією NVIDIA є прикладом цього.

Співпраця кількох карт у навчанні великих моделей

1. Паралельність даних: зберігайте повну модель на кожному GPU, розділіть дані для навчання.

2. Модельне паралелізування: розподіл моделі на різні графічні процесори, включаючи тензорне паралелізування та конвеєрне паралелізування.

3. Багатовимірне змішане паралельне: поєднання кількох паралельних методів, поділ на кілька етапів для навчання.

4. Усі паралельні способи повинні синхронізувати параметри, що ставить різні вимоги до мережі.

Основний компонент багатокарткової взаємозв'язку: точність синхронізації

1. Зворотне мовлення для вирівнювання параметрів, затримка All-to-All є ключовим показником.

2. Синхронізація включає синхронне паралельне, асинхронне паралельне, All-Reduce тощо.

3. Алгоритми оптимізації, такі як Ring All-Reduce, можуть знизити пропускну здатність та затримку.

4. Потрібна підтримка мережевого обладнання, такого як NVLink, IB-протокол тощо.

Системна інженерія: моніторинг - підсумок - інноваційна ітерація

1. Потрібно в режимі реального часу моніторити потік даних та оперативну ситуацію.

2. Програмне та апаратне перехоплення є основними засобами моніторингу, такими як Wireshark та ін.

3. Технології послідовного та паралельного з'єднання апаратних засобів, такі як DPI/DFI, можуть забезпечити безвідмовний моніторинг.

4. Постійно оптимізувати стабільність і ефективність системи на основі результатів моніторингу.

Конкуренція та ітерація комунікаційних протоколів

1. Внутрішня комунікація вузла: PCIe, NVLink, Infinity Fabric тощо.

2. Зв'язок між вузлами: InfiniBand проти родини протоколів RoCE Ethernet.

3. RDMA стає невід'ємною вимогою для підключення AI-кластерів.

4. Протокол IB від NVIDIA проти суперетерового альянсу під керівництвом AMD.

Інноваційні напрямки мережевого обладнання

1. Середовище передачі: боротьба між світлом, міддю та кремнієм, співвідношення ціни та якості та стабільність є ключовими.

2. Комутатори: зростання оптичних комутаторів, інновації в чіпах електричних комутаторів.

3. Мережева архітектура: розвиток архітектури Leaf Spine до Dragonfly, Rail-only тощо.

4. Кластер дата-центрів: міждатацентричне з'єднання стає новою фокусною точкою.

Інвестиційні пропозиції

1. Зосередьтеся на базовому апаратному забезпеченні, такому як комутатори та оптичні модулі.

2. Відстеження можливостей, що виникають завдяки новим технологіям, таким як LPO, CPO, спеціальні оптичні волокна тощо.

3. Зосередьте увагу на можливостях прискорення еволюції вітчизняних комутаторів.

Попередження про ризики

1. Попит на ІІ не виправдав очікувань
2. Втрата закону масштабування
3. Посилення конкуренції в галузі