Era model besar AI memicu ledakan permintaan perangkat jaringan. Membahas peluang inovasi dan investasi di masa depan.

Jaringan memainkan peran kunci di era model AI besar

Era model besar, modul optik, sakelar, dan perangkat jaringan lainnya mengalami percepatan iterasi, kebutuhan meledak. Artikel ini membahas dari prinsip, mengapa jaringan menjadi bagian penting dalam era AI, dan mendiskusikan inovasi dan peluang investasi di sisi jaringan di masa depan.

Sumber Permintaan Jaringan

1. Perbedaan antara volume model dan batas maksimum per kartu semakin besar, beralih ke pelatihan kluster multi-server, membentuk dasar pentingnya jaringan.

2. Jaringan lebih banyak digunakan untuk menyinkronkan parameter model antar kartu grafis, dengan peningkatan permintaan terhadap kepadatan dan kapasitas.

3. Waktu pelatihan = skala data x jumlah parameter / laju komputasi. Laju komputasi = laju per perangkat x jumlah perangkat x efisiensi paralel. Memperbesar jumlah perangkat dan efisiensi paralel menjadi kunci.

4. Sinkronisasi multi-kartu yang kompleks: setelah setiap perhitungan perlu diselaraskan, operasi All-to-All umum, dengan tuntutan tinggi untuk pengiriman dan pertukaran.

5. Biaya kegagalan tinggi: Pelatihan berlangsung selama berbulan-bulan, interupsi memerlukan kembali ke titik henti untuk pelatihan ulang, stabilitas jaringan sangat penting.

Arah Inovasi Jaringan

1. Medium komunikasi: pembaruan medium cahaya, tembaga, silikon, perkembangan teknologi pengurangan biaya seperti LPO, LRO, dan silikon optik.

2. Protokol Jaringan: Persaingan antara protokol komunikasi antar chip dan protokol komunikasi antar node.

3. Arsitektur Jaringan: Evolusi arsitektur leaf-spine menjadi arsitektur baru seperti Dragonfly dan rail-only.

Saran Investasi

Sistem komunikasi inti: Zhongji Xuchuang, Xinyi Sen, Tianfu Communication, Industrial Fulin, Yingweik, Hudian Co.

Inovasi sistem komunikasi: Changfei Fiber, Taicheng Optical, Yuanjie Technology, Shengke Communication-U, Cambrian, Dekoli.

Peringatan Risiko

1. Permintaan AI tidak memenuhi ekspektasi
2. Hukum skala gagal
3. Persaingan industri semakin ketat

Pentingnya Memahami Jaringan

Pentingnya komunikasi di era AI tercermin dalam:

1. Jumlah kartu grafis dan efisiensi koneksi menentukan waktu pelatihan, waktu adalah sumber daya kunci dalam persaingan.

2. Setiap lapisan dalam pelatihan perlu menyelaraskan parameter setelah perhitungan, yang sangat menuntut jaringan.

3. Biaya kegagalan jaringan tinggi, gangguan akan berdampak serius pada efisiensi dan biaya pelatihan.

4. Skala kluster mencapai puluhan ribu, jumlah komponen yang terhubung mencapai ratusan ribu, dengan tuntutan stabilitas sistem yang tinggi.

Pemahaman tentang Arah Inovasi Jaringan

1. Pengurangan biaya, keterbukaan, dan keseimbangan skala daya komputasi adalah isu utama.

2. Inovasi media komunikasi: kemajuan media cahaya, tembaga, dan silikon, teknologi baru seperti LPO, LRO, dan silikon fotonik.

3. Inovasi Protokol Komunikasi: Dalam node ( seperti NVLINK ) dan antar node ( persaingan protokol IB vs Ethernet ).

4. Pembaruan Arsitektur Jaringan: Arsitektur Leaf-Spine berkembang menuju arsitektur baru seperti Dragonfly, Rail-only, dll.

Dari komputasi awan ke era AI, pentingnya komunikasi meningkat

1. Permintaan konektivitas jaringan untuk AI meledak, dan skala parameter yang membengkak menyebabkan satu kartu tidak dapat menampung.

2. Waktu pelatihan = skala data x jumlah parameter / kecepatan komputasi, kekuatan komputasi yang terakumulasi menjadi kunci.

3. Kecepatan perhitungan = kecepatan per perangkat x jumlah perangkat x efisiensi paralel, jumlah perangkat dan efisiensi paralel menjadi sama pentingnya.

4. Jaringan menjadi kunci untuk meningkatkan jumlah perangkat dan efisiensi paralel, akuisisi Mellanox oleh Nvidia adalah mempertimbangkan hal ini.

Kerja sama multi-kartu dalam pelatihan model besar

1. Paralel data: setiap GPU menyimpan model lengkap, membagi data untuk pelatihan.

2. Paralel model: membagi model ke GPU yang berbeda, termasuk paralel tensor dan paralel pipeline.

3. Penggabungan Paralel Multidimensi: Menggabungkan berbagai cara paralel, membagi beberapa Stage untuk pelatihan.

4. Berbagai metode paralel perlu melakukan sinkronisasi parameter, yang mengajukan persyaratan berbeda terhadap jaringan.

Inti Konektivitas Multi-Kartu: Tingkat Akurasi Sinkronisasi

1. Penyiaran terbalik untuk penyelarasan parameter, keterlambatan All-to-All adalah indikator kunci.

2. Metode sinkronisasi termasuk sinkronisasi paralel, sinkronisasi asinkron, All-Reduce, dll.

3. Algoritma optimasi seperti Ring All-Reduce dapat mengurangi bandwidth dan latensi.

4. Memerlukan dukungan perangkat keras jaringan, seperti NVLink, protokol IB, dll.

Rekayasa Sistem: Pemantauan - Ringkasan - Iterasi Inovasi

1. Perlu memantau aliran data dan situasi operasional secara real-time.

2. Tangkap paket perangkat keras dan perangkat lunak adalah metode pemantauan utama, seperti Wireshark dan lain-lain.

3. Teknologi penghubungan seri dan paralel seperti DPI/DFI dapat mencapai pemantauan tanpa kerugian.

4. Secara terus-menerus mengoptimalkan stabilitas dan efisiensi sistem berdasarkan hasil pemantauan.

Persaingan dan Iterasi Protokol Komunikasi

1. Komunikasi dalam node: PCIe, NVLink, Infinity Fabric, dll.

2. Komunikasi antar node: InfiniBand vs keluarga protokol RoCE Ethernet.

3. RDMA menjadi kebutuhan mendasar untuk koneksi kluster AI.

4. Protokol IB NVIDIA vs Aliansi Super Ethernet yang dipimpin oleh AMD.

Inovasi Arah Perangkat Keras Jaringan

1. Media transmisi: persaingan antara cahaya, tembaga, dan silikon, di mana rasio biaya dan stabilitas adalah kuncinya.

2. Switch: Kebangkitan switch optik, inovasi chip switch listrik.

3. Arsitektur Jaringan: Evolusi arsitektur Leaf Spine ke Dragonfly, Rail-only, dan lainnya.

4. Kluster pusat data: interkoneksi antar pusat data menjadi fokus baru.

Saran Investasi

1. Perhatikan perangkat keras dasar seperti switch dan modul optik.

2. Melacak peluang yang dihadirkan oleh teknologi baru seperti LPO, CPO, dan serat optik khusus.

3. Perhatikan kesempatan evolusi cepat switch buatan dalam negeri.

Peringatan Risiko

1. Permintaan AI tidak memenuhi ekspektasi
2. Hukum skala gagal
3. Persaingan industri semakin ketat