LLM VRAM 計算ツール — この LLM はローカルで動かせる？
量子化とコンテキスト長に応じてローカル LLM に必要な GPU メモリを計算し、手持ちの GPU や Mac に収まるか、どれくらいの速度で動くかを確認できます。
パラメーター数 8.03B。 アテンション：32 層 × KV ヘッド 8 × 次元 128。
濃い色：重み · 青：KV キャッシュ · 灰色：オーバーヘッド。ここでの GB は GiB（1024³ バイト）を指し、GPU メモリの販売単位と同じです。
| GPU / Mac | 使用可能 | 判定 | 推定速度 |
|---|---|---|---|
| RTX 3060 12 GB 360 GB/s | 12 GB | 収まる | ~39 tok/s |
| RTX 4060 Ti 16 GB 288 GB/s | 16 GB | 収まる | ~31 tok/s |
| RTX 4070 Super 12 GB 504 GB/s | 12 GB | 収まる | ~55 tok/s |
| RTX 4080 Super 16 GB 736 GB/s | 16 GB | 収まる | ~80 tok/s |
| RTX 5080 16 GB 960 GB/s | 16 GB | 収まる | ~104 tok/s |
| RTX 3090 24 GB 936 GB/s | 24 GB | 収まる | ~102 tok/s |
| RTX 4090 24 GB 1008 GB/s | 24 GB | 収まる | ~110 tok/s |
| RTX 5090 32 GB 1792 GB/s | 32 GB | 収まる | ~195 tok/s |
| Radeon RX 7900 XTX 24 GB 960 GB/s | 24 GB | 収まる | ~104 tok/s |
| RTX 6000 Ada 48 GB 960 GB/s | 48 GB | 収まる | ~104 tok/s |
| A100 40 GB 1555 GB/s | 40 GB | 収まる | ~169 tok/s |
| A100 80 GB (SXM) 2039 GB/s | 80 GB | 収まる | ~222 tok/s |
| H100 80 GB (SXM) 3350 GB/s | 80 GB | 収まる | ~364 tok/s |
| H200 141 GB 4800 GB/s | 141 GB | 収まる | ~522 tok/s |
| Ryzen AI Max+ 395 (96 GB to GPU) 256 GB/s | 96 GB | 収まる | ~28 tok/s |
| Mac M2/M3/M4, 16 GB 100 GB/s | 10.7 GB | 収まる | ~11 tok/s |
| Mac M3/M4, 24 GB 120 GB/s | 16.1 GB | 収まる | ~13 tok/s |
| Mac M4 Pro, 48 GB 273 GB/s | 36 GB | 収まる | ~30 tok/s |
| Mac M4 Max, 64 GB 546 GB/s | 48 GB | 収まる | ~59 tok/s |
| Mac M4 Max, 128 GB 546 GB/s | 96 GB | 収まる | ~59 tok/s |
| Mac M2 Ultra, 192 GB 800 GB/s | 144 GB | 収まる | ~87 tok/s |
| Mac M3 Ultra, 512 GB 819 GB/s | 384 GB | 収まる | ~89 tok/s |
「ぎりぎり」は上限まで 10% 以内という意味です。読み込めるかもしれませんが、ブラウザや他のアプリによって上限を超えることがあります。速度は 1 ユーザーでの生成速度で、メモリ帯域幅の 65% をトークンあたりの読み込みバイト数で割って推定しています。プロンプト処理はこれより速く、実際の数値はランタイムによって異なります。Apple シリコンは、デフォルトで RAM の約 3 分の 2（最大 36 GB）、それより大きい構成では 4 分の 3 を GPU に割り当てられます。
計算はブラウザ内で行われます。入力した内容がどこかに送信されることはありません。 すべての無料ツールを見る.
不具合や改善できそうな点を見つけましたか？いただいたメッセージはすべて読み、すぐに対応します。
この LLM VRAM 計算ツールは、モデルが GPU や Mac で必要とするメモリを見積もり、「この LLM はローカルで動かせる？」という疑問に答えます。選んだ量子化での重み、コンテキスト長に応じた KV キャッシュ、ランタイムのオーバーヘッドを計算します。人気のオープンモデルを選ぶかパラメーター数を入力し、Q4_K_M などの量子化を選ぶと、一般的なグラフィックスカードと Apple シリコンのマシンごとに、合計と「収まる」「ぎりぎり」「収まらない」の判定が、おおよその生成速度とともに表示されます。
手早い見積もりの多くは、パラメーター数に重みあたりのバイト数を掛けて終わりにします。短いプロンプトなら近い値になりますが、長いプロンプトでは大きく外れます。Q4_K_M の Llama 3.1 8B モデルは重みに約 4.6 GB が必要ですが、KV キャッシュは 8K のコンテキストの 1 GB から、128K では 16 GB にまで増えます。ここのプリセットは各モデルの実際のアテンション構成（グループ化クエリのヘッド、スライディングウィンドウ、DeepSeek の潜在アテンション）を反映しているので、KV キャッシュは llama.cpp や vLLM が実際に確保するとおりに計算されます。計算式は下に記載しており、計算は実際の GGUF ファイルのサイズに対してユニットテストしています。
使い方
- リストからモデルを選ぶか、「カスタム」を選んでパラメーター数を入力します（KV キャッシュを正確に求めるには、モデルの config.json にあるレイヤー数、KV ヘッド数、ヘッド次元の値も入力します）。
- ダウンロードする予定の量子化を選びます。llama.cpp、Ollama、LM Studio の GGUF モデルでは、Q4_K_M が一般的な出発点です。
- 実際に使うコンテキスト長と、並列シーケンス数（個人のチャットなら 1、サーバーならそれ以上）を設定します。
- 合計と内訳を確認してから、GPU や Mac ごとの判定を確認します。「ぎりぎり」は上限の 10% 以内という意味です。
- 収まらない場合は、より小さな量子化、短いコンテキスト、Q8_0 の KV キャッシュ、またはパラメーター数の少ないモデルを試してください。
よくある質問
8B モデルを動かすのに必要な VRAM は？
8K のコンテキストで Q4_K_M の Llama 3.1 8B なら約 6.5 GB です。内訳は重み 4.6 GB、KV キャッシュ 1 GB、オーバーヘッド 1 GB 未満です。8 GB の GPU に収まり、12 GB の RTX 3060 なら余裕があります。FP16 では同じモデルに約 17 GB が必要で、24 GB のカードが必要になります。コンテキスト長も重要で、最大の 128K のコンテキストでは KV キャッシュだけで 16 GB になります。
24 GB の GPU で 70B モデルを動かせますか？
VRAM だけには収まりません。Q4_K_M の Llama 3.3 70B は重みに約 40 GB、8K のコンテキストで合計約 45 GB が必要で、Q2_K でも約 30 GB が必要です。選択肢は、24 GB の GPU 2 枚、48 GB のカード 1 枚、64 GB 以上のユニファイドメモリを持つ Mac、またはモデルの一部をシステム RAM にオフロードすることです。オフロードでも動きますが、数倍遅くなります。
KV キャッシュとは何ですか？ なぜコンテキストとともに増えるのですか？
生成中、モデルはすべてのレイヤーで、それまでのすべてのトークンについてキーとバリューのベクトルを保存し、新しいトークンのたびに再計算しなくて済むようにしています。そのサイズは 2 x レイヤー数 x KV ヘッド数 x ヘッド次元 x コンテキスト長 x 値あたりのバイト数です。Llama 3.1 8B（32 レイヤー、KV ヘッド 8、ヘッド次元 128、FP16）では 1 トークンあたり 128 KB で、8K トークンで 1 GB、128K で 16 GB になります。グループ化クエリアテンション、スライディングウィンドウのレイヤー（Gemma）、潜在アテンション（DeepSeek）を使うモデルでは、はるかに少なくて済みます。
どの量子化を使えばよいですか？
Q4_K_M が標準的なバランスです。サイズは FP16 の約 3 分の 1 で、ほとんどの用途では品質の低下はわずかです。収まるなら Q5_K_M や Q6_K を、元のモデルと実質的に同じ結果が欲しいなら Q8_0 を使い、約 30B パラメーター未満のモデルでは品質の低下が目立つため Q3 や Q2 は避けましょう。同じファイルサイズなら、Q8 の小さなモデルより Q4 の大きなモデルのほうがたいてい優れています。
ローカル LLM には Mac と NVIDIA の GPU のどちらが向いていますか？
Mac はより大きなモデルを載せられ、NVIDIA の GPU は収まるモデルをより速く動かせます。Apple シリコンは CPU と GPU で 1 つのメモリを共有するので、128 GB の Mac ならどの一般向けグラフィックスカードにも載らない 70B モデルを載せられます。ただし、そのメモリ帯域幅（M4 Max で 546 GB/s）は RTX 4090 の 1,008 GB/s の約半分で、生成速度は帯域幅に比例します。初期設定では、macOS は GPU が使えるメモリを、36 GB までのマシンでは RAM の約 3 分の 2、それより大きいマシンでは約 4 分の 3 にしています。
1 秒あたりのトークン数の見積もりはどれくらい正確ですか？
おおよその目安で、1 ユーザーでの生成なら通常 30% 以内に収まります。トークンを 1 つ生成するには、アクティブな重みと KV キャッシュをメモリから 1 回読み込む必要があるので、速度はおおむねメモリ帯域幅をトークンあたりのバイト数で割った値になります。ツールはピーク帯域幅の 65% が出ると仮定しています。プロンプトの処理は計算律速ではるかに速く、MoE モデルではルーティングのオーバーヘッドが加わり、ランタイム、ドライバー、設定によっても実際の数値は変わります。
この計算ツールで使っている計算式
合計メモリ = モデルの重み + KV キャッシュ + ランタイムのオーバーヘッド。サイズはすべて GiB（1,024³ バイト）で表します。GPU メモリはこの単位で販売されており、「24 GB」の RTX 4090 は 24 GiB です。
重み = パラメーター数 x 重みあたりのビット数 / 8。GGUF の k-quant では、量子化の種類ごとにテンソルによって精度が混在するため、重みあたりのビット数は実際のファイルから測定した実効値を使っています。Q8_0 8.5、Q6_K 6.57、Q5_K_M 5.70、Q4_K_M 4.89、IQ4_XS 4.43、Q3_K_M 4.00、Q2_K 3.17 です（Llama 3.1 8B の GGUF ファイルによる値で、大きいモデルでは最大約 5% 小さくなります）。AWQ と GPTQ は 128 個の重みごとに 1 つのスケールを持つ 4 ビットの重み（約 4.16 ビット）を使い、埋め込みと出力層は 16 ビットのままです。gpt-oss はエキスパートの重みを MXFP4（4.25 ビット）で、アテンションと埋め込みを BF16 で配布しています。
KV キャッシュ = 2 x レイヤー数 x KV ヘッド数 x ヘッド次元 x トークン数 x 値あたりのバイト数 x 並列シーケンス数。グループ化クエリアテンションのため、kv_heads（Llama 3 70B では 8）はアテンションヘッドの数（64）よりはるかに少なくなります。スライディングウィンドウのレイヤーは最大でもそのウィンドウ分（Gemma 3 では 1,024 トークン、gpt-oss のレイヤーの半分では 128）しか保存しません。DeepSeek V3 と R1 は、完全なキーとバリューの代わりに、レイヤーとトークンごとに 576 個の値の潜在表現を 1 つ保存します。値あたり FP16 は 2 バイト、Q8_0 のキャッシュは約 1.06、Q4_0 は約 0.56 バイトです。
オーバーヘッド = 0.75 GiB + 重みの 3%。CUDA や Metal のコンテキストと計算用バッファーを含みます。実際のランタイムでは数百 MB の差が出ます。速度 = メモリ帯域幅 x 0.65 /（アクティブな重みのバイト数 + 1 シーケンス分の KV キャッシュ）。
量子化ごとのサイズの早見表
この計算ツールによる、Llama 3.1 8B と Llama 3.3 70B の重みのみのサイズ：
• FP16 / BF16：15.0 GB と 131.5 GB
• Q8_0：7.9 GB と 69.9 GB
• Q6_K：6.1 GB と 54.0 GB
• Q5_K_M：5.3 GB と 46.8 GB
• Q4_K_M：4.6 GB と 40.2 GB
• Q3_K_M：3.7 GB と 32.9 GB
• Q2_K：3.0 GB と 26.1 GB
これに、コンテキストに応じた KV キャッシュと約 1 GB のオーバーヘッドを加えると、GPU に載せる必要のある量になります。
Mixture-of-Experts モデル：大きなモデルのメモリで、小さなモデルの速度
Qwen3 30B-A3B、Mixtral 8x7B、gpt-oss、DeepSeek R1 のような Mixture-of-Experts（MoE）モデルは、多数のエキスパートのサブネットワークを持ちますが、トークンごとに使うのはそのうちの少数だけです。すべてのエキスパートがメモリ上に必要なので、メモリは総パラメーター数に従います。速度はアクティブなパラメーター数に従います。トークンごとに読み込まれるのは、その重みだけだからです。
そのため、Q4_K_M の Qwen3 30B-A3B は密な 30B モデルと同じ約 19 GB のメモリを必要としますが、テキストの生成は 3B モデル並みの速度です。MoE モデルが Mac など、低速でも大容量のメモリを持つマシンに向いているのもこのためで、制約になるのは容量であり、帯域幅はそれほどではありません。
671B パラメーターの DeepSeek R1 は極端な例です。トークンごとにアクティブなのは 37B パラメーターだけですが、Q4_K_M で約 380 GB と、一般向けのどのマシン 1 台にも収まりません。
関連する無料ツール
- LLM API 料金計算 — キャッシュ、バッチ割引、長文コンテキストの料金区分、推論トークンを考慮して、40 以上のモデルで自分のワークロードのコストを比較できます。価格は出典と日付付き。
- トークンカウンター — OpenAI のモデルは正確に、Claude、Gemini、Llama は推定でトークン数をカウントし、料金を確認して、テキストがトークンに分割される様子を見られます。
- AI ROI 計算 — 繰り返し作業を自動化すると、年間で何時間・いくらの節約になるかを試算できます。