AIをつなぐ技術 — PCIe・イーサネット・InfiniBand・NVLink・光接続の役割と投資の文脈
なぜ「配線」がAIの性能を律速するのか
大規模言語モデルの学習では、巨大なパラメータと中間データを多数のGPUに分割し、各GPUが計算した結果を頻繁に交換し合う。この「交換」が遅いと、いくら個々のGPUが速くても全体は待ち時間で埋まり、高価なGPUが遊ぶ。実際、数千枚規模のクラスタでは総実行時間の相当割合が通信に費やされうる。
つまりAIインフラの性能は次の3点で決まる。
- 演算: GPU/アクセラレータ単体のFLOPS
- メモリ: 各GPUが扱える帯域と容量
- インターコネクト: GPU同士・ノード同士をつなぐ帯域と遅延
本稿は教育目的であり投資助言ではありません。
スケールアップとスケールアウト — 2つの軸
インターコネクトは大きく2階層に分かれる。混同しやすいので最初に整理する。
- スケールアップ(ノード内): 1台のサーバ(ノード)に載った複数GPUを密結合する。ここでは超広帯域・超低遅延が最優先で、NVLinkやPCIeが使われる。GPU群をあたかも1つの大きなGPUのように振る舞わせる層。
- スケールアウト(ノード間): 多数のノードをラック・データセンタ規模で横につなぐ。ここでは距離と接続数(数千〜数万ポート)が問題になり、イーサネットやInfiniBandが使われる。
| 階層 | 範囲 | 主な技術 | 重視 |
| スケールアップ | ノード内 GPU間 | NVLink / PCIe | 帯域・低遅延 |
| スケールアウト | ノード間〜DC全体 | イーサネット / InfiniBand | 距離・拡張性 |
ノード内の主役 — NVLinkとPCIe
PCIeはもともとCPUと周辺機器をつなぐ汎用規格で、GPUの基本的な接続にも使われる。世代ごとに帯域が倍々で増えてきたが、汎用ゆえにGPU間の超高速通信専用には設計されていない。
そこでGPUベンダは専用の密結合リンクを用意した。代表がNVDAのNVLinkで、複数GPUを直接・広帯域でつなぎ、さらに専用スイッチ(NVSwitch等)を介して1ノード内の多数GPUをフルメッシュ的に結合する。これによりノード内のGPU群が共有メモリ的に協調しやすくなる。
ポイントは次の通り。
- PCIe = 汎用・エコシステムが広い・他用途とも共通
- NVLink = GPU専用・帯域が桁違い・ただしベンダ固有色が強い
ノード間の主役 — イーサネットとInfiniBand
ノードを跨ぐ通信では、距離・ポート数・運用の容易さが問われる。ここで競合するのがInfiniBandとイーサネットだ。
- InfiniBand: 元々HPC(スーパーコンピュータ)向けに発展した低遅延・高信頼の規格。AI学習クラスタで実績が厚い。
- イーサネット: データセンタで広く普及した汎用規格。近年はAI向けに輻輳制御や低遅延化を強化した拡張(RoCEや業界団体の取り組み)が進み、InfiniBandの牙城に挑んでいる。
信号を遠くへ運ぶ — SerDesとリタイマー
帯域を上げるほど電気信号は減衰・歪み、基板やケーブル上を遠くまで届かなくなる。これを支える基盤技術がSerDes(直列化/並列化回路)とリタイマー(劣化した信号を読み直して再生成する部品)だ。
- SerDes: チップ内外の高速I/Oの心臓部。世代が上がるほど設計難度が跳ね上がる。
- リタイマー / アクティブ電気ケーブル(AEC): 信号品質を回復し、より長い距離・より高い帯域を成立させる。
ファブリックの結節点 — スイッチ
数千ポートを束ねるにはスイッチが要る。スイッチはトラフィックを宛先へ振り分ける交通整理役で、AIファブリックの性能と消費電力を大きく左右する。
- スイッチASIC: 1チップが処理できる総帯域(スイッチング容量)が世代ごとに拡大。
- システム/OS: ハードに加え、輻輳制御や運用ソフトの完成度が差を生む。
電気の限界、そして光へ
帯域を上げ距離を伸ばすほど、電気配線は消費電力と減衰の壁にぶつかる。そこで信号を光に変えて運ぶ流れが強まっている。
- 光トランシーバ: 電気↔光を変換するモジュール。AIデータセンタの高速化で需要が急増。
- アクティブ光ケーブル(AOC): 両端に光変換を内蔵したケーブル。長距離・高帯域を低損失で結ぶ。
- 光電融合(CPO等): スイッチや演算チップの近くに光エンジンを統合し、電気経路を最短化して電力を削る次世代アプローチ。詳細は別記事で扱う。
カスタムASIC側の文脈 — AVGOとMRVL
インターコネクトを語るうえで外せないのが、カスタムシリコンを設計するベンダだ。クラウド大手は自社AIアクセラレータ(独自ASIC)を持ち始め、その演算チップにも高速I/O・SerDes・光接続が大量に必要になる。ここを支えるのがAVGOとMRVLである。
- カスタムASIC受託: 顧客仕様の演算チップを設計・量産。SerDesや先端実装の知財が競争力の核。
- 接続IP/部品: スイッチASIC、光DSP、SerDes IPなど、ファブリックを構成する要素を幅広く供給。
帯域と消費電力のトレードオフ
インターコネクト技術選択は、最終的に「帯域 対 消費電力(と距離・コスト)」の綱引きに集約される。
| 手段 | 帯域 | 距離 | 電力傾向 |
| NVLink等(ノード内) | 極大 | 短 | 密度高 |
| 電気ケーブル+リタイマー | 大 | 中 | 距離で増加 |
| 光接続(トランシーバ/AOC) | 大 | 長 | 変換が必要だが距離効率良 |
| 光電融合(CPO) | 大 | 中〜長 | 経路短縮で削減狙い |
投資の文脈 — 顧客集中と期待先行に注意
インターコネクトは「AIの裏方」として構造的な追い風を受けるテーマだが、投資としては固有のリスクがある。
- 顧客集中: 専業ベンダほど少数の大口クラウド・GPUベンダに依存しがち。1社の発注変動で売上が大きく振れる。
- 期待先行: 成長期待を織り込み、PERやPSRが高水準になりやすい。実態の伸びが期待に追いつくかを継続確認する必要がある。
- 技術の入れ替わり: イーサネット対InfiniBand、電気対光、光電融合など、勝ち筋が動く局面で勢力図が変わりうる。