LLMはなぜGPUとメモリを大量に食うのか — 推論コストの正体（KVキャッシュ・トークン経済） | kabu

学習(training)と推論(inference)は別物

学習はモデルを「作る」工程です。大量のデータを何度も流し、誤差を逆伝播させて重み(パラメータ)を少しずつ調整します。計算は重いものの、原則として一度きりの先行投資に近い性格を持ちます。
推論はできあがったモデルを「使う」工程です。ユーザーが入力するたびに走り、利用が増えれば増えるほど積み上がっていく継続コストです。

• 学習: 巨大だが回数は限られる。研究開発投資に近い。
• 推論: 1回は軽くても、ユーザー数×利用頻度で総量が際限なく膨らむ。

推論で何が起きるか — トークンを1つずつ生成する

LLMは文章をまとめて吐き出しているように見えますが、内部ではトークン(単語の断片)を1つずつ、逐次的に生成しています。

1. 入力文(プロンプト)を一括で処理する(プリフィル)。
2. 次の1トークンを予測して出力する。
3. そのトークンを入力の末尾に足し、また次の1トークンを予測する。
4. 終了するまでこれを繰り返す。

なぜメモリ帯域が効くのか — 巨大な重みを毎回読む

1トークンを生むたびに、モデルは全パラメータを読み出して計算に使います。数百億〜数千億パラメータのモデルでは、重みだけで数十〜数百GBに達します。
ここで効くのは演算速度(FLOPS)よりもメモリ帯域です。トークン生成のたびに巨大な重みをメモリから演算器へ運ぶ必要があり、この「運ぶ速度」が頭打ちになると、いくら演算器が速くても待ち時間が生じます。これをメモリ帯域ボトルネック(memory-bound)と呼びます。

• 1トークンあたり、ほぼモデル全体のデータを読み直す。
• 律速は「計算する速さ」ではなく「データを供給する速さ」。

HBM — 帯域を稼ぐための広帯域メモリ

この帯域問題への答えがHBM(High Bandwidth Memory)です。DRAMチップを縦に積層し、シリコンを貫く配線で広い「道」を確保することで、通常のメモリより桁違いに速くデータを供給します。詳細はHBMメモリと関連銘柄で扱いますが、要点はこうです。

• AIアクセラレータの性能は、搭載HBMの容量と帯域に強く縛られる。
• 容量が大きいほど大きなモデルや長い文脈を1チップに載せられる。
• 帯域が広いほど、毎トークンの重み供給が速くなる。

KVキャッシュ — 文脈を保持し、メモリを食う本丸

逐次生成のたびに過去のトークンを毎回ゼロから計算し直すのは無駄なので、途中結果(KeyとValue)をKVキャッシュとしてメモリに保持します。これにより速度は上がりますが、代わりに文脈(会話やプロンプト)が長いほどメモリ使用量が増え続けるという性質が生まれます。

• KVキャッシュの大きさは、おおむね「文脈の長さ × 同時に処理する人数(バッチ)」に比例して膨らむ。
• 長文の要約、長い会話履歴、大きな文書の読み込みは、それだけでメモリを圧迫する。
• HBM容量が足りないと、載せられる文脈長や同時処理数が頭打ちになる。

バッチ処理とスループット — コストを下げる仕組み

推論は1リクエストだけ流すと演算器が遊びがちです。そこで複数ユーザーのリクエストをまとめて(バッチ)処理し、1回の重み読み出しで多くのトークンを同時に進めます。

• 重みを1度メモリから読めば、その間に複数ユーザー分の計算を相乗りできる。
• 同時に捌くほど、トークンあたりの実効コストは下がる(スループットが上がる)。
• ただしバッチを増やすほどKVキャッシュの合計が膨らみ、メモリ容量が新たな上限になる。

トークン経済 — 使われるほど推論コストが膨らむ

ここまでをお金の言葉に直すと、AIサービスのコストは概ね処理したトークン数に比例します。入力トークン(読む量)と出力トークン(生成する量)が課金やコストの単位になり、これがトークン経済です。

• ユーザー数が増える → 処理トークンが増える → 推論コストが増える。
• 長文・長い会話・エージェント的な多段処理は、1利用あたりのトークンを跳ね上げる。
• 「賢いほど長く考える」モデルは、回答までに大量の中間トークンを生むため、性能向上が直接コスト増につながりうる。

効率の主戦場 — 推論用チップ・メモリ・GPU

推論コストの正体が「帯域 × 容量 × トークン量」だと分かると、半導体の各レイヤーがなぜ重要かが見えてきます。

• 汎用GPU: 学習と推論の両刀。柔軟性と開発エコシステムで強い。NVDA・AMD。アーキテクチャの基礎はGPUアーキテクチャを参照。
• カスタムASIC: 推論など用途を絞り、電力あたり効率(トークン単価)を最適化する自社設計チップ。設計支援でAVGO・MRVLが関わる。詳細はカスタムAIチップ銘柄とAIチップの種類。
• メモリ: HBMの容量・帯域がボトルネック。MU。

インターコネクト — 1チップに収まらない世界をつなぐ

大型モデルは重みもKVキャッシュも1チップに収まらず、多数のチップに分割して協調動作させます。すると今度はチップ間・サーバー間の通信速度が新たなボトルネックになります。

• 分割した計算を毎ステップ同期するため、配線が遅いと演算器が待たされる。
• クラスタ規模が大きいほど、通信が全体性能を左右する。

投資の文脈 — どう数字で見るか

推論コストの理解は、関連銘柄を眺めるときの「どこを見るか」を与えてくれます。AIの需要は本物でも、銘柄ごとに収益化の確度・利幅・持続性は大きく異なるため、ストーリーに頼らず実態の指標で確かめる姿勢が大切です。

• 成長: 売上とそのCAGR、直近のTTM推移。AI関連売上が全体に占める割合。
• 収益性: 粗利率・営業利益率。HBMやASICなど高付加価値部材は利幅に表れやすい。
• 再投資: R&D比率とフリーキャッシュフロー。次世代の効率競争に投資する体力。
• 期待の織り込み: PER・PSR・時価総額で、株価が織り込む期待の高さを確認。