KVキャッシュとは？生成AIが「会話の途中」を覚えておく仕組みと、推論でメモリが足りなくなる理由

KVキャッシュとは、ChatGPT のような生成AIが文章を1語ずつ作るときに、それまでの文章について計算した結果（キーとバリュー）を、メモリの中に控えておくものです。計算をやり直さずに済むぶん速くなります。

代わりに、会話が長くなるほど、使う人が増えるほど、控えはふくらむ。AIの推論でHBMが足りない、SSDが足りないというニュースの裏には、この控えがあります。大きさの目安、むだを減らす工夫、置き場所を広げる動きの順に見ます。

先に見たい節 なぜ大きくなるか/むだを減らす工夫/置き場所を広げる

KVキャッシュとは

生成AIは、文章をどう作っているのか

生成AIは、質問の文章を読み込んだあと、答えを1語ずつ作っていきます。次の1語を決めるたびに、それまでのすべての語との関係を計算します(アテンションと呼ばれる計算)。

ここで、前の語のキーとバリューを毎回計算し直すと、文章が長くなるほど計算がふくらみます。そこで、一度計算したキーとバリューをメモリに控えておき、次の語でそのまま使います。この控えが KV キャッシュです。

KVキャッシュはなぜ大きくなるか

KVキャッシュの大きさは、次のものに比例して増えます。

NVIDIA は、Llama 2 7B というモデルを16ビットで動かし、1人で4096トークンの文章を扱う場合、KVキャッシュが約2GBになると計算しています。同時に使う人が増えたり、文章がさらに長くなったりすると、その分だけ増えていきます。

さらに、1語ずつ作るデコードでは、毎回この控えをメモリから読み出す必要があり、計算の速さよりもメモリからデータを運ぶ速さが、答えの出る速さを決めます。NVIDIA は、デコードを「メモリが律速の処理」と説明しています。

電源の設計者がこの節を読むなら、まず見たいのは計算の回数ではなく、メモリとGPUの間を行き来するデータの量です。データを動かすことにも電気がかかる。運ぶ量が増える処理は、答えの速さと同時に、電力の見積もりも変えるからです。

あわせて読みたい

【完全図解】HBMとは？読み方・仕組みとGPUに必要な理由をやさしく解説

GPUの隣にある「AI最重要メモリ」、HBMの仕組み

メモリのむだを減らす工夫

KVキャッシュは、答えがどれだけ長くなるか前もってわからないので、昔のやり方では大きめの場所を先に確保していました。その結果、使われない場所が多く残っていました。

2023年に発表された vLLM という仕組みの論文では、それまでのシステムが KV キャッシュのメモリの60〜80%をむだにしていたのに対し、PagedAttention でむだを4%未満に減らし、同じ遅れのまま処理量を2〜4倍にしたと報告しています。

KVキャッシュの置き場所を広げる

いちばん速いのはGPUのそばのHBMですが、容量に限りがあります。そこで、すぐには使わない控えを、より大きく安い場所に移しておき、必要になったら戻す仕組みが進んでいます。

NVIDIA は2026年1月の CES で、KV キャッシュを GPU に長く置いておくことはできないとして、データ処理用のチップ BlueField-4 を使い、KV キャッシュの容量を増やしてラックをまたいで共有するストレージの仕組み(Inference Context Memory Storage Platform)を発表しました。提供は2026年後半としていました（発表の時点）。

あわせて読みたい

【完全図解】AIデータセンターの消費電力とは？なぜ電気を食うのか、電力需要の構造をやさしく整理

AIはなぜこんなに電気を食うのか。需要の構造を整理

KVキャッシュとメモリ・SSDの需要

AIエージェントのように、何段階も考えたり、長い資料を読んだりする使い方が増えるほど、扱う文章は長くなり、KVキャッシュは大きくなります。AIの推論の広がりが、メモリとストレージの需要を押し上げる理由の1つがここにあります。

調査会社の発表を読んで、筆者が目を止めた一文があります。TrendForce（トレンドフォース）の2026年9月21日の発表は、データセンター向けSSDの値上がりの理由の1つに、KVキャッシュをメモリから大容量のQLCのSSDへ逃がす使い方を挙げていました。ソフトの中の仕組みの名前が、SSDの値段の説明にまで出てくるようになったということです。

あわせて読みたい

3D NANDとは？NAND型フラッシュメモリを「何百階建て」に積む仕組みと、AIでSSDが足りない理由

メモリを「何百階建て」に積む、3D NANDの仕組み

KVキャッシュを知ると、何が見えてくるか

よくある誤解

まとめ

よくある質問

この記事で見た「生成AIが文章を作る仕組み」を、モデルの側から知りたい方に。本書（翔泳社）は、大規模言語モデルを仕組みから解説するソフトウェア開発の入門書で、「Transformer」「学習」「プロンプトエンジニアリング」「言語モデルAPI」などの章があります。