GPUとCPUの違いは、コアの数と得意な計算です。CPU は少ない数の賢いコアで複雑な仕事を順番にこなし、GPU は単純なコアを大量に並べて、同じ形の計算を一度に進めます。
AIの学習や推論の中身は、ほとんどが掛け算と足し算のくり返しです。だから GPU が向いています。では、GPU があれば CPU はいらないのか。答えは「いる」です。
先に読みたい節 7つの視点の比較表/AIの計算がGPU向きな理由/AIデータセンターでのCPUの仕事
あなたが今いる場所：AIインフラ ＞ AIデータセンター入門 ＞ GPUとCPUの違い
AIデータセンターの5つの構成要素
計算（GPUサーバー） ←ココ
記憶（ストレージ）
通信（ネットワーク）
電力供給
排熱処理（冷却）
計算の積み上がり（下から上へ）
CPU・GPU（チップ） ←ココ
HBM（メモリ）
GPUサーバー
GPUラック
AIデータセンター
GPUとCPUの違いとは
先に結論
GPUとCPUの違いは、CPUは「少ないけれど賢いコア」で、複雑な仕事を順番に素早くこなすのが得意。GPUは「単純だけれど膨大な数のコア」で、同じ形の計算を一度に大量にこなすのが得意という点にあります。
AIの学習や推論の中身は、ほとんどが「掛け算と足し算」のくり返しです。この形の計算は、たくさんのコアで同時に進められるため、GPUが向いています。一方、データの準備やプログラム全体の段取り、OSの仕事はCPUが受け持ちます。AIデータセンターのサーバーは、CPUが指揮を取り、GPUが大量の計算を引き受ける組み合わせで動いています。
用語メモ：コア
チップの中で、実際に計算をする部分。CPUはこのコアが数個〜百数十個、GPUは数千〜1万個以上あります。
用語メモ：並列計算
たくさんの計算を、同じ時間に同時に進めること。AIの計算は、この並列計算に向いた形をしています。
いちばんの違い：コアの「数」と「性格」
GPUとCPUの違いは、チップの中の計算する部分(コア)の作り方に表れます。
16,896
NVIDIA H100(SXM5)の FP32 の CUDA コアの数
出典：NVIDIA Technical Blog「NVIDIA Hopper Architecture In-Depth」
最大192
AMD 第5世代 EPYC(サーバー向けCPU)のコアの数
出典：AMD プレスリリース(2024年10月10日)
サーバー向けのCPUでも、コアの数は多いもので200個に届かない程度です。そのかわり、1つ1つのコアが、複雑な分岐や予測をこなす仕組みと、大きな作業机(キャッシュ)を持っています。GPUは、1つ1つのコアは単純ですが、その数が桁違いに多く、同じ命令を大量のデータに一斉に当てはめるのが得意です。
たとえるなら
CPUは、どんな難問でも解ける少人数の専門家チームです。GPUは、九九を覚えた大勢の生徒が並んだ教室です。難しい応用問題は専門家のほうが速く解けますが、何万問もの掛け算の計算ドリルなら、全員で一斉に解く教室のほうが圧倒的に速く終わります。
GPUとCPUの違いを7つの視点で比較
| 視点 |
CPU |
GPU |
| 1. コアの数 | 数個〜百数十個 | 数千〜1万個以上 |
| 2. コアの性格 | 1つ1つが賢く、複雑な処理に強い | 1つ1つは単純。同じ計算を一斉にこなす |
| 3. 得意な仕事 | 分岐の多い処理、OS、データベース、全体の段取り | 行列の掛け算、画像処理、AIの学習と推論 |
| 4. 処理の進め方 | 1つの仕事を、待ち時間を短く素早く終える | 大量の仕事を、まとめて一気に終える |
| 5. メモリ | DDR などの汎用メモリ。容量を大きくしやすい | HBM などの広帯域メモリ。データを送る速さを重視 |
| 6. 電力と熱 | 1個あたり数百W級 | 1個あたり数百W〜1kW級。液冷が広がる |
| 7. 役割 | 指揮者。プログラム全体を動かす | 計算の担い手。CPUから仕事を受け取る |
ポイント：CPUが「待ち時間(レイテンシ)を短くする」設計なのに対し、GPUは「たくさん運ぶ(スループットを上げる)」設計です。どちらが上かではなく、得意な仕事が違うと考えるのが正確です。
用語メモ：レイテンシとスループット
レイテンシは1つの仕事が終わるまでの待ち時間。スループットは一定時間に終えられる仕事の量。宅配便でいえば、1個を速く届けるのがレイテンシ、トラックで大量に運ぶのがスループットです。
なぜAIの計算はGPU向きなのか
AIのモデル(ニューラルネットワーク)の計算は、大きな表(行列)どうしの掛け算と足し算のくり返しです。表の中の1つ1つの計算は、ほかの計算の結果を待たずに、同時に進められます。
この工程の役割
受け取るもの
入力（文章・画像）
数字の並びに変換
→
計算
行列の掛け算を大量にくり返す
同じ形の計算が何億回も
→
同じ形の計算が大量にある
行列の掛け算は、同じ手順を大量の数字に当てはめる計算です。たくさんのコアに分けて同時に進められます。
専用の計算回路がある
最近のGPUには、行列の掛け算を一度に進める専用の回路(NVIDIA でいう Tensor コア)が載っています。
データを送る道が太い
大量の数字を休みなく計算回路に送るため、GPUのそばに広帯域のメモリ(HBM)を置いています。
3.35TB/s
NVIDIA H100 SXM のメモリ帯域(1秒に送れるデータの量)
出典：NVIDIA H100 製品ページ
GPUは、もともとゲームの画面を描くために生まれました。画面の何百万もの点(画素)の色を一斉に計算する仕事が、AIの行列の計算とよく似ていたため、AIの主役になりました。
あわせて読みたい
SOCAMMとは？HBM・LPDDRとの違いを図解｜SOCAMM2とNVIDIA Vera Rubinでの使い分け
GPUのそばに置くメモリは1種類ではない。HBM・LPDDR・SOCAMMの使い分け
GPUがあればCPUはいらない？AIデータセンターでのCPUの仕事
答えは「いいえ」です。GPUは、自分で仕事を始めることができません。どのデータを、どの順番で、どのGPUに計算させるかを決め、結果を受け取って次の段取りをするのはCPUです。
| CPUの仕事 |
中身 |
| 段取り(指揮) | プログラム全体を動かし、GPUに計算を割り当てる |
| データの準備 | ストレージから読み込んだデータを整え、GPUに渡す |
| 通信の取りまとめ | ネットワークやほかのサーバーとのやりとりを管理する |
| OSと管理 | サーバーそのものを動かし、監視や制御をする |
AIサーバーの中では、CPU1〜2個に対して、GPUを4〜8個つなぐ構成がよく使われます。CPUの段取りが遅いと、高価なGPUが仕事待ちで遊んでしまうため、CPUとGPUをつなぐ道の太さも重要です。
たとえるなら
厨房にたとえると、CPUは料理長、GPUは大勢の調理スタッフです。料理長が注文を受けて段取りを決め、スタッフが一斉に下ごしらえをこなします。料理長がいなければスタッフは動けず、スタッフがいなければ大量の注文はさばけません。
あわせて読みたい
GPUサーバーとは？AIサーバーとの違いとCPUサーバーとの比較、主な種類を図解
CPUとGPUを積んだ「箱」。GPUサーバーとAIサーバーの違い
CPUとGPUを1つにまとめる新しい形
CPUとGPUの間でデータを受け渡す時間と電力を減らすため、2つを近くに置いたり、1つのモジュールにまとめたりする流れが進んでいます。
同じ基板に近づける
NVIDIA は、自社のCPU(Grace)とGPUを1つのモジュールにまとめた製品を出しています。CPUとGPUを専用の高速の道でつなぎ、メモリをやりとりしやすくしています。
同じパッケージに入れる
AMD のように、CPUとGPUのチップを1つのパッケージに並べる製品もあります。チップレットの技術を使って、別々に作ったチップを組み合わせます。
パソコンでも
パソコン向けのチップでも、CPU・GPU・AI向けの回路(NPU)を1つにまとめるのが当たり前になりつつあります。
一体化が進んでも、CPUとGPUの役割分担そのものはなくなりません。「段取り役」と「計算の担い手」を、どれだけ近くに置けるかの競争です。
あわせて読みたい
チップレットとは？構造とモノリシックとの違い、AI時代に主流になった理由を図解
別々に作ったチップを組み合わせる。チップレットの考え方
GPUが増えると、データセンターの何が変わるのか
GPUは、大量の計算を一斉にこなすぶん、1個あたりの消費電力も大きくなりました。NVIDIA H100 SXM の最大の消費電力(TDP)は、設定によって最大700Wです。これを何千個、何万個と並べるのがAIデータセンターです。
この工程の役割
→
ラックの電力
1ラックあたりの電力が急増
電源設備が足りなくなる
→
次の工程へ渡すもの
熱の増加
空気では冷やしきれない
CPU中心の従来のデータセンターとAIデータセンターの違いは、ほとんどがこの「GPUの電力と熱」から生まれています。計算・電力・冷却・通信の4つのボトルネックは、すべてGPUにつながっています。
もっと深く知りたい方へ：4つのボトルネック別ガイド
AIデータセンターは「計算・電力・冷却・通信」の4つで詰まります。気になるところから進んでください。
GPUとCPUの違いを知ると、何が見えてくるか
あなたにとっての意味
仕事で関わる方へ：サーバー・電気・設備のどの担当でも、AIの計算の重さはGPUの数で決まり、電力と熱の多くもGPUから来ると知っておくと、話の中心がどこにあるかがわかります。
投資家の方へ：AI関連のニュースで「GPUの出荷が増える」と出たら、その周りのHBM・先端パッケージ・電源・冷却の需要も一緒に動きます。CPUの需要とは動き方が違う点に注意すると、位置づけがわかりやすくなります。
学生・就活中の方へ：情報系・電気電子系の学生にとって、CPUとGPUの違いは「計算機の作り方」の基本です。並列計算の考え方は、AIの仕組みを学ぶ入口にもなります。
よくある誤解
誤解1：GPUはCPUの上位版
得意な仕事が違うだけで、上下ではありません。分岐の多い複雑な処理では、CPUのほうが速いことが普通です。
誤解2：AIサーバーにCPUはいらない
GPUは自分で仕事を始められません。段取り・データの準備・通信の取りまとめはCPUが担います。
誤解3：GPUのコアの数で性能が決まる
コアの数だけでなく、専用の計算回路、メモリの帯域、チップどうしをつなぐ道の太さで、AIの性能は大きく変わります。
まとめ
- CPUは少数の賢いコアで、複雑な仕事を素早くこなす
- GPUは大量の単純なコアで、同じ形の計算を一斉にこなす
- AIの学習と推論は行列の掛け算のくり返しで、GPUに向いている
- AIサーバーでは、CPUが段取りを取り、GPUが大量の計算を引き受ける
- GPUの電力と熱が、AIデータセンターの電源と冷却を変えた
よくある質問
Q. GPUとCPUの違いは何ですか？
A. CPUは少数の賢いコアで複雑な処理を素早くこなし、GPUは大量の単純なコアで同じ形の計算を一斉にこなします。
Q. なぜAIにはGPUが使われるのですか？
A. AIの計算は行列の掛け算のくり返しで、たくさんのコアで同時に進められる形をしているからです。
Q. AIサーバーにCPUは必要ですか？
A. 必要です。プログラムの段取り、データの準備、通信の取りまとめはCPUが受け持ち、GPUに計算を割り当てます。
Q. GPUはもともと何のための部品ですか？
A. ゲームなどの画面を描くための部品です。画素の色を一斉に計算する仕事が、AIの計算とよく似ていました。
この記事のテーマを、本でもっと深くPR（アフィリエイト広告）
CPUとGPUの違いの背景にある、半導体そのものの全体像を固めたい方に。本書（SBクリエイティブ）は、前工程・後工程・材料の章に加え、NVIDIAが牽引するAI向け半導体の進化や最新動向も、図解で紹介しています。
¥1,980 （2026/10/05 21:02時点 | Amazon調べ）
ポチップ
S
シラス
電験三種・QC検定1級 / メーカーでパワエレ設計・品質保証 実務10年
メーカーで回路設計と生産技術（品質改善）に携わってきた経験をもとに、AIインフラを支える半導体・電力・冷却の仕組みを、図解でやさしく解説しています。
テーマ別に、もっと深く学ぶ
気になるところから読んでも大丈夫です。どの記事も、はじめての方にもわかるように図解で書いています。
AIデータセンターをもっと深く
つまずきやすい「違い」を解決
あわせて知りたい、隣のテーマ
コメント