大模型显存计算器 — 我的电脑能本地运行这个 LLM 吗？
算出本地大模型在你选择的量化和上下文长度下需要多少显存，你的 GPU 或 Mac 能否装下，以及运行速度有多快。
8.03B 参数。 注意力：32 层 × 8 个 KV 头 × 128 维。
深色：权重 · 蓝色：KV 缓存 · 灰色：开销。这里的 GB 指 GiB（1024³ 字节），也就是显存标称所用的单位。
| GPU / Mac | 可用 | 结论 | 预计速度 |
|---|---|---|---|
| RTX 3060 12 GB 360 GB/s | 12 GB | 能装下 | ~39 tok/s |
| RTX 4060 Ti 16 GB 288 GB/s | 16 GB | 能装下 | ~31 tok/s |
| RTX 4070 Super 12 GB 504 GB/s | 12 GB | 能装下 | ~55 tok/s |
| RTX 4080 Super 16 GB 736 GB/s | 16 GB | 能装下 | ~80 tok/s |
| RTX 5080 16 GB 960 GB/s | 16 GB | 能装下 | ~104 tok/s |
| RTX 3090 24 GB 936 GB/s | 24 GB | 能装下 | ~102 tok/s |
| RTX 4090 24 GB 1008 GB/s | 24 GB | 能装下 | ~110 tok/s |
| RTX 5090 32 GB 1792 GB/s | 32 GB | 能装下 | ~195 tok/s |
| Radeon RX 7900 XTX 24 GB 960 GB/s | 24 GB | 能装下 | ~104 tok/s |
| RTX 6000 Ada 48 GB 960 GB/s | 48 GB | 能装下 | ~104 tok/s |
| A100 40 GB 1555 GB/s | 40 GB | 能装下 | ~169 tok/s |
| A100 80 GB (SXM) 2039 GB/s | 80 GB | 能装下 | ~222 tok/s |
| H100 80 GB (SXM) 3350 GB/s | 80 GB | 能装下 | ~364 tok/s |
| H200 141 GB 4800 GB/s | 141 GB | 能装下 | ~522 tok/s |
| Ryzen AI Max+ 395 (96 GB to GPU) 256 GB/s | 96 GB | 能装下 | ~28 tok/s |
| Mac M2/M3/M4, 16 GB 100 GB/s | 10.7 GB | 能装下 | ~11 tok/s |
| Mac M3/M4, 24 GB 120 GB/s | 16.1 GB | 能装下 | ~13 tok/s |
| Mac M4 Pro, 48 GB 273 GB/s | 36 GB | 能装下 | ~30 tok/s |
| Mac M4 Max, 64 GB 546 GB/s | 48 GB | 能装下 | ~59 tok/s |
| Mac M4 Max, 128 GB 546 GB/s | 96 GB | 能装下 | ~59 tok/s |
| Mac M2 Ultra, 192 GB 800 GB/s | 144 GB | 能装下 | ~87 tok/s |
| Mac M3 Ultra, 512 GB 819 GB/s | 384 GB | 能装下 | ~89 tok/s |
“勉强”表示与上限相差不到 10%：也许能加载，但浏览器或其他应用可能让它超出上限。速度指单用户生成速度，按内存带宽的 65% 除以每个 token 读取的字节数估算；提示词处理更快，实际数字因运行时而异。Apple Silicon 默认可将约三分之二（36 GB 及以下）或四分之三（更大内存）的内存分配给 GPU。
在你的浏览器中计算。你输入的任何内容都不会被发送到任何地方。 浏览全部免费工具.
发现问题，或者觉得哪里可以更好？每条消息我们都会阅读，并尽快修复。
这款 LLM 显存计算器通过估算模型在你的 GPU 或 Mac 上所需的内存，回答“我能在本地运行这个大模型吗？”这个问题：所选量化下的权重、你的上下文长度对应的 KV 缓存，以及运行时开销。选择一个热门开源模型或输入参数量，选择 Q4_K_M 等量化方式，就能看到总需求，以及常见显卡和 Apple Silicon 机型“能装下”“勉强”或“装不下”的判定，每款都附有粗略的生成速度。
大多数粗略估算只是用参数量乘以每个权重的字节数就完事了，这对短提示词还算接近，对长提示词却错得离谱。Q4_K_M 量化的 Llama 3.1 8B 权重约需 4.6 GB，但它的 KV 缓存会从 8K 上下文时的 1 GB 增长到 128K 时的 16 GB。这里的预设包含了每个模型真实的注意力结构（分组查询注意力头、滑动窗口、DeepSeek 的潜在注意力），所以 KV 缓存的大小与 llama.cpp 和 vLLM 实际分配的方式一致。下方列出了计算公式，相关计算也经过了以真实 GGUF 文件大小为基准的单元测试。
使用方法
- 从列表中选择模型，或选择“自定义”并输入参数量（如需精确的 KV 缓存，还要填入模型 config.json 中的层数、KV 头数和头维度）。
- 选择你打算下载的量化版本。在 llama.cpp、Ollama 和 LM Studio 中，GGUF 模型通常从 Q4_K_M 开始。
- 设置你实际会用到的上下文长度和并行序列数（个人聊天为 1，服务器则更多）。
- 查看总量和明细，再看每款 GPU 或 Mac 的判定。“勉强”表示距离上限不到 10%。
- 如果装不下，可以尝试更低的量化、更短的上下文、Q8_0 KV 缓存，或参数更少的模型。
常见问题
运行 8B 模型需要多少显存？
Q4_K_M 量化、8K 上下文的 Llama 3.1 8B 约需 6.5 GB：4.6 GB 权重、1 GB KV 缓存，以及不到 1 GB 的开销。8 GB 显卡能装下，12 GB 的 RTX 3060 则绰绰有余。同一模型在 FP16 下约需 17 GB，也就是需要 24 GB 的显卡。上下文长度也很关键：在完整的 128K 上下文下，仅 KV 缓存就有 16 GB。
24 GB 显卡能运行 70B 模型吗？
无法完全放进显存。Q4_K_M 量化的 Llama 3.3 70B 权重约需 40 GB，8K 上下文下总计约 45 GB；即使是 Q2_K 也需要约 30 GB。可选方案有：两块 24 GB 显卡、一块 48 GB 显卡、一台 64 GB 或以上统一内存的 Mac，或者把部分模型卸载到系统内存——这样可以运行，但会慢好几倍。
KV 缓存是什么？为什么会随上下文增长？
在生成过程中，模型会为每一层中之前的每个 token 存储一个键向量和一个值向量，这样每生成一个新 token 时就不必重新计算。其大小为 2 x 层数 x KV 头数 x 头维度 x 上下文长度 x 每个值的字节数。对于 Llama 3.1 8B（32 层、8 个 KV 头、头维度 128、FP16），每个 token 为 128 KB：8K token 时为 1 GB，128K 时为 16 GB。采用分组查询注意力、滑动窗口层（Gemma）或潜在注意力（DeepSeek）的模型需要的要少得多。
应该用哪种量化？
Q4_K_M 是标准的折中选择：体积约为 FP16 的三分之一，在大多数用途下质量损失很小。装得下的话可以用 Q5_K_M 或 Q6_K；想要结果与原模型几乎一致时用 Q8_0；参数量低于约 30B 的模型不要用 Q3 和 Q2，那时质量下降会很明显。在文件大小相同的情况下，Q4 的大模型通常胜过 Q8 的小模型。
本地跑大模型，Mac 好还是 NVIDIA 显卡好？
Mac 能装下更大的模型；NVIDIA 显卡跑能装下的模型更快。Apple Silicon 的 CPU 和 GPU 共享同一块内存，所以 128 GB 的 Mac 能容纳任何消费级显卡都装不下的 70B 模型；但它的内存带宽（M4 Max 为 546 GB/s）约为 RTX 4090（1,008 GB/s）的一半，而生成速度与带宽成正比。默认情况下，macOS 在 36 GB 及以下的机型上允许 GPU 使用约三分之二的内存，在更大内存的机型上约为四分之三。
每秒 token 数的估算有多准？
只是粗略参考，单用户生成时误差通常在 30% 以内。每生成一个 token，都要把激活权重和 KV 缓存从内存中读取一遍，所以速度约等于内存带宽除以每个 token 需要读取的字节数；本工具假设能达到峰值带宽的 65%。提示词处理受算力限制，速度快得多；MoE 模型会增加路由开销；运行时、驱动和设置也都会影响实际数值。
本计算器使用的公式
总内存 = 模型权重 + KV 缓存 + 运行时开销。所有大小均以 GiB（1,024³ 字节）为单位，这也是显存的销售单位：“24 GB”的 RTX 4090 实际有 24 GiB。
权重 = 参数量 x 每个权重的位数 / 8。对于 GGUF k-quant，每个权重的位数是从真实文件中测得的有效值，因为每种量化类型在不同张量上混用了不同精度：Q8_0 为 8.5，Q6_K 为 6.57，Q5_K_M 为 5.70，Q4_K_M 为 4.89，IQ4_XS 为 4.43，Q3_K_M 为 4.00，Q2_K 为 3.17（取自 Llama 3.1 8B 的 GGUF 文件；更大的模型最多会小约 5%）。AWQ 和 GPTQ 使用 4 位权重，每 128 个权重一个缩放系数（约 4.16 位），嵌入层和输出层保持 16 位；gpt-oss 的专家权重以 MXFP4（4.25 位）发布，注意力层和嵌入层为 BF16。
KV 缓存 = 2 x 层数 x KV 头数 x 头维度 x token 数 x 每个值的字节数 x 并行序列数。正是因为分组查询注意力，kv_heads（Llama 3 70B 为 8）才远小于注意力头数（64）。滑动窗口层最多只存储其窗口大小的内容（Gemma 3 为 1,024 个 token，gpt-oss 一半的层为 128 个）。DeepSeek V3 和 R1 每层每个 token 只存储一个 576 维的潜在向量，而不是完整的键和值。FP16 每个值占 2 字节，Q8_0 缓存约 1.06 字节，Q4_0 约 0.56 字节。
开销 = 0.75 GiB + 权重的 3%，涵盖 CUDA 或 Metal 上下文以及计算缓冲区。实际运行时会相差几百 MB。速度 = 内存带宽 x 0.65 / （激活权重字节数 + 单个序列的 KV 缓存）。
各量化大小一览
以下为本计算器给出的 Llama 3.1 8B 和 Llama 3.3 70B 的权重大小（仅权重）：
• FP16 / BF16：15.0 GB 和 131.5 GB
• Q8_0：7.9 GB 和 69.9 GB
• Q6_K：6.1 GB 和 54.0 GB
• Q5_K_M：5.3 GB 和 46.8 GB
• Q4_K_M：4.6 GB 和 40.2 GB
• Q3_K_M：3.7 GB 和 32.9 GB
• Q2_K：3.0 GB 和 26.1 GB
再加上你的上下文对应的 KV 缓存和约 1 GB 的开销，就是 GPU 必须容纳的总量。
混合专家模型：大模型的内存，小模型的速度
Qwen3 30B-A3B、Mixtral 8x7B、gpt-oss 或 DeepSeek R1 这类混合专家（MoE）模型包含许多专家子网络，但每个 token 只用到其中几个。所有专家都必须载入内存，所以内存需求取决于总参数量；而速度取决于激活参数量，因为每个 token 只读取这部分权重。
这就是为什么 Q4_K_M 量化的 Qwen3 30B-A3B 需要约 19 GB——相当于一个 30B 稠密模型的内存——生成文本的速度却和 3B 模型一样。这也是 MoE 模型适合 Mac 以及其他拥有大量较慢内存的机器的原因：容量才是瓶颈，带宽倒在其次。
6710 亿参数（671B）的 DeepSeek R1 是极端例子：Q4_K_M 下约需 380 GB，超出任何一台消费级机器的能力，尽管每个 token 只激活 370 亿（37B）参数。
相关免费工具
- 大模型 API 费用计算器 — 在 40 多个模型间对比你的用量成本，计入缓存、批量折扣、长上下文分档和推理 token。价格均注明来源和日期。
- Token 计数器 — 精确统计 OpenAI 模型的 token 数，估算 Claude、Gemini 和 Llama 的 token 数，查看费用，并直观看到文本如何被切分成 token。
- AI ROI 计算器 — 估算把一项重复性工作自动化后，每年能为企业节省多少工时和多少钱。