【完全図解】AIデータセンターの構成と仕組み｜5つの構成要素を1枚の地図で理解する

「AIデータセンター」とひとくちに言うけれど、中に何が入っているか説明できますか？──そう聞かれると、意外と答えに詰まりませんか？

そもそもAIデータセンターとは何か、従来型のデータセンターと何が違うのかは【完全図解】AIデータセンターとは？で解説しています。この記事は中身の構成に絞ります。

これまでのロードマップ記事では、GPUサーバー、GPUラック、PUE、電力問題、空冷・液冷と個別テーマを掘り下げてきました。この記事はそれらを「1枚の地図」に統合する回です。ここを読めば、バラバラだった知識がつながります。

AIデータセンターの構成 ── 5つの構成要素の全体図

まず全体の「地図」を見る

いきなり個別パーツの話に入る前に、全体の構造を俯瞰しましょう。AIデータセンターは、以下の5つの構成要素が組み合わさって初めて機能します。

① GPUサーバー（計算層）── AIの「頭脳」

数千台のGPUが一斉に計算する「超並列処理マシン」

AIデータセンターの主役は、言うまでもなくGPUサーバーです。AIの学習（トレーニング）と推論（インファレンス）を実行する「頭脳」であり、数千〜数万台のGPUが同時に動作します。

従来のデータセンターではCPU（汎用プロセッサ）が主役でしたが、AIの計算は「同じような計算を何兆回も繰り返す」という超並列処理です。この処理はCPUよりもGPUが圧倒的に得意──コアの数がCPUの数十個に対してGPUは1万個以上だからです。

AIで何が変わったか

従来型のCPUサーバーは消費電力が300〜800W程度でした。GPUサーバーはその10倍以上──1台で約10kW。この消費電力の爆増が、後述する電源・冷却すべての設計を根本から変えた起点です。

この電力は学習のときだけでなく、ChatGPTのような対話AIが質問に答える「推論」でも24時間使われ続けるため、1回の質問の電力は小さくても総量が大きくなります（ChatGPTの電力消費はGoogle検索の何倍？）。

② ストレージ（記憶層）── AIの「食材倉庫」

膨大な学習データを超高速で読み書きする

AIの学習には、テキスト・画像・動画などの膨大なデータが必要です。GPT-4レベルの大規模言語モデルの学習には数十TBのデータが使われます。このデータを保存し、GPUに高速で供給するのがストレージの役割です。

AIデータセンターでは、従来のHDD（ハードディスク）ではデータの読み出し速度が追いつきません。NVMe SSD（超高速フラッシュストレージ）が標準となっており、1台のストレージデバイスで最大14GB/sの転送速度を実現します。さらにGPUDirect Storageという技術により、ストレージからGPUへCPUを介さず直接データを転送することで、ボトルネックを解消しています。

③ ネットワーク（通信層）── AIの「神経網」

数千台のGPUを超低遅延でつなぐ

AIの学習では、数千台のGPUが同時に計算し、その結果を瞬時に共有しながら進みます。この「GPU同士の通信」が遅いと、いくらGPUが高速でも全体の処理が詰まってしまいます。ネットワークは「GPU同士をつなぐ神経網」であり、ボトルネックになりやすい要素です。

AIデータセンターのネットワークは、大きく3つの階層で構成されています。

第1層のNVLinkはNVIDIA独自のGPU同士の専用配線で、ラックの中のGPUを1台の巨大なGPUのようにまとめる「スケールアップ」を担い、第2層の「スケールアウト」とは役割が違います（NVLinkとは？「1台の巨大GPU」を作る技術）。

データセンターのネットワーク構成図──「計算用」「ストレージ用」「管理用」の3つ

「データセンター ネットワーク構成図」で調べる人が知りたいのは、スイッチとサーバーがどうつながっているかです。AIデータセンターでは、役割の違う通信を混ぜないように、ネットワークを分けて作ります。NVIDIAが公開しているAIスーパーコンピューターの参照構成（DGX SuperPOD）も、次のように分けています。

サーバーの中のGPUどうしは、さらに速いNVLinkで直接つながります（上の「第1層」）。サーバーの外に出る通信が、この表の3つのネットワークです。

④ 電源設備（電力層）── AIの「心臓」

数百MW級の電力を「1秒も止めず」安定供給する

AIデータセンターは24時間365日稼働し、膨大な電力を消費します。大規模施設では数百MW（メガワット）──大型火力発電所1基に匹敵する電力が必要です。この電力を安定して供給するのが電源設備の役割です。

⑤ 冷却設備（排熱層）── AIの「体温調節」

GPUの猛烈な発熱を制御する「生命維持装置」

GPUサーバーの消費電力のほとんどは「熱」に変わります。ラック1本で120kW──電気ストーブ120台分の熱が発生し続けるのです。この熱を処理しなければ、GPUは動作温度を超えて故障します。冷却設備は、AIデータセンターの「生命維持装置」です。

冷却方式には空冷と液冷があり、AIデータセンターではDLC（直接液冷）と空冷のハイブリッドが現在の主流です。IIJの解説では、DLCで液体が受け持つのは熱の約70%で、ネットワーク機器やメモリなど残りは空冷が必要とされています（出典：IIJ）。

AIサーバーの構成──1台の中に何が入っているか

「AIサーバー 構成」「AIサーバー 構造」で調べる人向けに、1台の中身を実例で見ておきます。NVIDIAのGPUサーバー「DGX B200」は、次の部品でできています（2026年10月時点の製品ページ）。

AIサーバーは「箱」1台、AIデータセンターはその箱を何千台も並べ、電気と冷却とネットワークを用意した「建物と設備のまとまり」です。違いはAIデータセンターとは、GPUサーバーの種類はGPUサーバーとはで解説しています。

2つの流れで理解する ── データの流れ vs 電力の流れ

AIデータセンターの中を流れているものは、大きく2つあります。「データ」と「電力」です。この2つの流れを並べて見ると、5つの構成要素がどう関係しているかが一目でわかります。

「見える設備」と「見えにくい設備」── ニュースに出ない裏方たち

AIデータセンターのニュースは、ほとんどが「GPU」の話です。しかし実際には、ニュースに登場しない「見えにくい設備」がデータセンターの大部分を占めています。

見える設備 vs ‍ 見えにくい設備

なぜ「1つ欠けても」AIは止まるのか？

5つの構成要素はバラバラに存在しているのではなく、因果関係で鎖のようにつながっています。どれか1つが止まると、連鎖的に全体が止まります。

AIデータセンターはどこにある？

「AIデータセンター どこにある」「場所」で調べる人も多いので、日本の例を挙げておきます。日本のデータセンターは、通信の拠点に近い東京圏（千葉県印西市・白井市など）と大阪圏に集まっています。ただし印西・白井のあたりは、電力系統への接続の申込みが供給できる量を超えて集中していると、経済産業省の資料で示されています。

そこで電力を確保しやすい地方にも計画が出ています。たとえばソフトバンクは北海道苫小牧市にAIデータセンターを建設中で、2026年度の開業を予定し、受電容量は300MW超まで広げる見込みとしています。地方に増える理由は日本でAIデータセンターが増える理由で整理しています。

まとめ：AIデータセンターの構成要素の全体像

結局こういうことです。AIデータセンターは「GPUの集まり」ではありません。計算・記憶・通信・電力・排熱の5つが、1つも欠けることなく、すべて桁違いのスペックで揃って初めて機能するシステムです。この「1枚の地図」を手に入れたことで、これまでの個別記事（GPUサーバー、GPUラック、PUE、電力問題、空冷・液冷）がすべてつながったはずです。

学習ロードマップ上の位置づけ