LLM VRAM 계산기 — 이 LLM을 로컬에서 돌릴 수 있을까?

양자화 방식과 컨텍스트 길이에 따라 로컬 LLM에 필요한 GPU 메모리, 내 GPU나 Mac에 들어가는지, 얼마나 빠르게 돌아갈지 계산하세요.

모델

양자화

일반적인 기본값: 크기와 품질의 균형이 가장 좋습니다.

컨텍스트 길이 (토큰)

병렬 시퀀스

개인 채팅은 1

KV 캐시 유형

매개변수 8.03B. 어텐션: 32개 레이어 x KV 헤드 8개 x 128차원.

필요한 총 메모리

6.46 GB

모델 가중치

4.57 GB

가중치당 4.89비트

KV 캐시

1.00 GB

8,192토큰 x 1

런타임 오버헤드

0.89 GB

0.75GB + 가중치의 3%

진한 색: 가중치 · 파란색: KV 캐시 · 회색: 오버헤드. 여기서 GB는 GPU 메모리 판매 단위인 GiB(1024³바이트)를 뜻합니다.

GPU / Mac	사용 가능	판정	예상 속도
RTX 3060 12 GB 360 GB/s	12 GB	가능	~39 tok/s
RTX 4060 Ti 16 GB 288 GB/s	16 GB	가능	~31 tok/s
RTX 4070 Super 12 GB 504 GB/s	12 GB	가능	~55 tok/s
RTX 4080 Super 16 GB 736 GB/s	16 GB	가능	~80 tok/s
RTX 5080 16 GB 960 GB/s	16 GB	가능	~104 tok/s
RTX 3090 24 GB 936 GB/s	24 GB	가능	~102 tok/s
RTX 4090 24 GB 1008 GB/s	24 GB	가능	~110 tok/s
RTX 5090 32 GB 1792 GB/s	32 GB	가능	~195 tok/s
Radeon RX 7900 XTX 24 GB 960 GB/s	24 GB	가능	~104 tok/s
RTX 6000 Ada 48 GB 960 GB/s	48 GB	가능	~104 tok/s
A100 40 GB 1555 GB/s	40 GB	가능	~169 tok/s
A100 80 GB (SXM) 2039 GB/s	80 GB	가능	~222 tok/s
H100 80 GB (SXM) 3350 GB/s	80 GB	가능	~364 tok/s
H200 141 GB 4800 GB/s	141 GB	가능	~522 tok/s
Ryzen AI Max+ 395 (96 GB to GPU) 256 GB/s	96 GB	가능	~28 tok/s
Mac M2/M3/M4, 16 GB 100 GB/s	10.7 GB	가능	~11 tok/s
Mac M3/M4, 24 GB 120 GB/s	16.1 GB	가능	~13 tok/s
Mac M4 Pro, 48 GB 273 GB/s	36 GB	가능	~30 tok/s
Mac M4 Max, 64 GB 546 GB/s	48 GB	가능	~59 tok/s
Mac M4 Max, 128 GB 546 GB/s	96 GB	가능	~59 tok/s
Mac M2 Ultra, 192 GB 800 GB/s	144 GB	가능	~87 tok/s
Mac M3 Ultra, 512 GB 819 GB/s	384 GB	가능	~89 tok/s

"빠듯함"은 한도의 10% 이내라는 뜻입니다. 로드될 수는 있지만 브라우저나 다른 앱 때문에 초과할 수 있습니다. 속도는 단일 사용자 생성 기준으로, 메모리 대역폭의 65%를 토큰당 읽는 바이트로 나누어 추정합니다. 프롬프트 처리는 더 빠르며 실제 수치는 런타임에 따라 다릅니다. Apple Silicon은 기본적으로 RAM의 약 3분의 2(최대 36GB) 또는 4분의 3(그 이상)을 GPU에 할당할 수 있습니다.

브라우저에서 계산됩니다. 입력한 내용은 어디에도 전송되지 않습니다. 모든 무료 도구 보기.

문제를 발견하셨거나 개선할 점이 있나요? 모든 메시지를 읽고 빠르게 고칩니다.

이 LLM VRAM 계산기는 모델이 GPU나 Mac에서 필요로 하는 메모리를 추정해 "이 LLM을 로컬에서 돌릴 수 있을까?"라는 질문에 답합니다. 선택한 양자화 방식의 가중치, 컨텍스트 길이에 따른 KV 캐시, 런타임 오버헤드를 합산합니다. 인기 있는 오픈 모델을 고르거나 파라미터 수를 입력하고, Q4_K_M 같은 양자화 방식을 선택하면, 흔히 쓰는 그래픽 카드와 Apple Silicon 기기별로 총 메모리와 함께 여유/빠듯함/부족 판정과 대략적인 생성 속도를 보여 줍니다.

대부분의 간단한 추정은 파라미터 수에 가중치당 바이트를 곱하고 끝냅니다. 짧은 프롬프트에서는 비슷하지만 긴 프롬프트에서는 크게 틀립니다. Q4_K_M 형식의 Llama 3.1 8B 모델은 가중치에 약 4.6 GB가 필요하지만, KV 캐시는 8K 컨텍스트에서 1 GB, 128K에서 16 GB로 늘어납니다. 여기의 프리셋은 각 모델의 실제 어텐션 구조(그룹 쿼리 헤드, 슬라이딩 윈도우, DeepSeek의 잠재 어텐션)를 담고 있어, llama.cpp와 vLLM이 실제로 할당하는 방식대로 KV 캐시를 계산합니다. 공식은 아래에 정리되어 있고, 계산은 실제 GGUF 파일 크기와 대조하는 단위 테스트를 거쳤습니다.

사용 방법

목록에서 모델을 고르거나, 사용자 지정을 선택해 파라미터 수를 입력하세요(정확한 KV 캐시가 필요하면 모델 config.json의 레이어, KV 헤드, 헤드 차원 값도 입력).
다운로드할 양자화 방식을 고르세요. llama.cpp, Ollama, LM Studio에서 GGUF 모델은 보통 Q4_K_M부터 시작합니다.
실제로 쓸 컨텍스트 길이와 병렬 시퀀스 수(개인 채팅은 1, 서버는 그 이상)를 설정하세요.
총합과 세부 내역을 확인한 뒤 GPU나 Mac별 판정을 보세요. 빠듯함은 한도의 10% 이내라는 뜻입니다.
들어가지 않으면 더 작은 양자화, 더 짧은 컨텍스트, Q8_0 KV 캐시, 또는 파라미터가 더 적은 모델을 시도해 보세요.

자주 묻는 질문

8B 모델을 돌리려면 VRAM이 얼마나 필요한가요?

Q4_K_M 형식의 Llama 3.1 8B를 8K 컨텍스트로 돌리면 약 6.5 GB입니다. 가중치 4.6 GB, KV 캐시 1 GB, 오버헤드 1 GB 미만입니다. 8 GB GPU에 들어가고 12 GB RTX 3060에는 넉넉히 들어갑니다. FP16에서는 같은 모델이 약 17 GB가 필요해 24 GB 카드가 있어야 합니다. 컨텍스트 길이도 중요합니다. 최대 128K 컨텍스트에서는 KV 캐시만 16 GB입니다.

24 GB GPU에서 70B 모델을 돌릴 수 있나요?

VRAM에 전부 올릴 수는 없습니다. Q4_K_M 형식의 Llama 3.3 70B는 가중치에 약 40 GB, 8K 컨텍스트에서 총 약 45 GB가 필요하며, Q2_K도 약 30 GB가 필요합니다. 24 GB GPU 두 개, 48 GB 카드 하나, 통합 메모리 64 GB 이상인 Mac, 또는 모델 일부를 시스템 RAM으로 오프로드하는 방법이 있습니다. 오프로드는 작동하지만 몇 배 느립니다.

KV 캐시란 무엇이고 왜 컨텍스트에 따라 커지나요?

생성 중에 모델은 모든 레이어에서 이전 토큰마다 키 벡터와 값 벡터를 저장해, 새 토큰마다 다시 계산하지 않습니다. 크기는 2 x 레이어 x KV 헤드 x 헤드 차원 x 컨텍스트 길이 x 값당 바이트입니다. Llama 3.1 8B(32 레이어, KV 헤드 8개, 헤드 차원 128, FP16)라면 토큰당 128 KB로, 8K 토큰에서 1 GB, 128K에서 16 GB입니다. 그룹 쿼리 어텐션, 슬라이딩 윈도우 레이어(Gemma), 잠재 어텐션(DeepSeek)을 쓰는 모델은 훨씬 적게 필요합니다.

어떤 양자화를 써야 하나요?

Q4_K_M이 표준적인 절충안입니다. FP16 크기의 약 3분의 1이고 대부분의 용도에서 품질 손실이 작습니다. 들어간다면 Q5_K_M이나 Q6_K를, 원본과 사실상 같은 결과를 원하면 Q8_0을 쓰세요. 약 30B 파라미터 미만 모델에서는 Q3와 Q2를 피하세요. 품질 저하가 눈에 띕니다. 같은 파일 크기라면 보통 Q4의 큰 모델이 Q8의 작은 모델보다 낫습니다.

로컬 LLM에는 Mac과 NVIDIA GPU 중 무엇이 더 좋나요?

Mac은 더 큰 모델을 올릴 수 있고, NVIDIA GPU는 들어가는 모델을 더 빠르게 돌립니다. Apple Silicon은 CPU와 GPU가 하나의 메모리 풀을 공유하므로 128 GB Mac은 어떤 소비자용 그래픽 카드도 못 올리는 70B 모델을 올릴 수 있습니다. 하지만 메모리 대역폭(M4 Max 546 GB/s)은 RTX 4090의 1,008 GB/s의 절반 정도이고, 생성 속도는 대역폭에 비례합니다. 기본적으로 macOS는 36 GB 이하 기기에서는 RAM의 약 3분의 2, 그보다 큰 기기에서는 약 4분의 3을 GPU가 쓸 수 있게 합니다.

초당 토큰 추정치는 얼마나 정확한가요?

대략적인 기준으로, 단일 사용자 생성에서 보통 30% 이내입니다. 토큰 하나를 생성하려면 활성 가중치와 KV 캐시를 메모리에서 한 번 읽어야 하므로, 속도는 대략 메모리 대역폭을 토큰당 바이트로 나눈 값입니다. 이 도구는 최대 대역폭의 65%를 달성한다고 가정합니다. 프롬프트 처리는 연산 위주라 훨씬 빠르고, MoE 모델은 라우팅 오버헤드가 더해지며, 런타임, 드라이버, 설정에 따라 실제 수치가 달라집니다.

이 계산기가 쓰는 공식

총 메모리 = 모델 가중치 + KV 캐시 + 런타임 오버헤드. 모든 크기는 GPU 메모리 판매 단위인 GiB(1,024³ 바이트)입니다. "24 GB" RTX 4090의 메모리는 24 GiB입니다.

가중치 = 파라미터 x 가중치당 비트 / 8. GGUF k-quant의 가중치당 비트는 실제 파일에서 측정한 유효값입니다. 각 양자화 유형이 텐서마다 다른 정밀도를 섞어 쓰기 때문입니다: Q8_0 8.5, Q6_K 6.57, Q5_K_M 5.70, Q4_K_M 4.89, IQ4_XS 4.43, Q3_K_M 4.00, Q2_K 3.17 (Llama 3.1 8B GGUF 파일 기준이며, 더 큰 모델은 최대 약 5% 작게 나옵니다). AWQ와 GPTQ는 가중치 128개마다 스케일 하나를 두는 4비트 가중치(약 4.16비트)를 쓰고 임베딩과 출력 레이어는 16비트로 유지합니다. gpt-oss는 전문가 가중치를 MXFP4(4.25비트)로, 어텐션과 임베딩은 BF16으로 배포합니다.

KV 캐시 = 2 x 레이어 x KV 헤드 x 헤드 차원 x 토큰 x 값당 바이트 x 병렬 시퀀스. 그룹 쿼리 어텐션 덕분에 kv_heads(Llama 3 70B는 8)가 어텐션 헤드 수(64)보다 훨씬 작습니다. 슬라이딩 윈도우 레이어는 최대 윈도우만큼만 저장합니다(Gemma 3는 1,024 토큰, gpt-oss는 레이어 절반에서 128). DeepSeek V3와 R1은 전체 키와 값 대신 레이어당 토큰마다 576개 값의 잠재 벡터 하나를 저장합니다. FP16은 값당 2바이트, Q8_0 캐시는 약 1.06, Q4_0은 약 0.56바이트입니다.

오버헤드 = 0.75 GiB + 가중치의 3%로, CUDA 또는 Metal 컨텍스트와 연산 버퍼를 포함합니다. 실제 런타임은 수백 MB 정도 차이가 납니다. 속도 = 메모리 대역폭 x 0.65 / (활성 가중치 바이트 + 시퀀스 하나의 KV 캐시).

양자화별 크기 한눈에 보기

이 계산기로 구한 Llama 3.1 8B와 Llama 3.3 70B의 가중치 크기:

• FP16 / BF16: 15.0 GB, 131.5 GB

• Q8_0: 7.9 GB, 69.9 GB

• Q6_K: 6.1 GB, 54.0 GB

• Q5_K_M: 5.3 GB, 46.8 GB

• Q4_K_M: 4.6 GB, 40.2 GB

• Q3_K_M: 3.7 GB, 32.9 GB

• Q2_K: 3.0 GB, 26.1 GB

여기에 컨텍스트에 맞는 KV 캐시와 약 1 GB의 오버헤드를 더하면 GPU에 올려야 할 용량이 됩니다.

전문가 혼합(MoE) 모델: 메모리는 큰 모델, 속도는 작은 모델

Qwen3 30B-A3B, Mixtral 8x7B, gpt-oss, DeepSeek R1 같은 전문가 혼합(MoE) 모델은 많은 전문가 하위 네트워크를 가지고 있지만 토큰마다 일부만 사용합니다. 전부 메모리에 있어야 하므로 메모리는 전체 파라미터 수를 따릅니다. 속도는 활성 파라미터를 따르는데, 토큰마다 그 가중치만 읽기 때문입니다.

그래서 Q4_K_M 형식의 Qwen3 30B-A3B는 덴스 30B 모델과 같은 약 19 GB가 필요하지만, 텍스트는 3B 모델의 속도로 생성합니다. MoE 모델이 Mac처럼 느리지만 메모리가 넉넉한 기기에 잘 맞는 이유이기도 합니다. 용량이 제약이고 대역폭은 덜 중요합니다.

671B 파라미터의 DeepSeek R1은 극단적인 경우입니다. 토큰당 활성 파라미터는 37B뿐이지만 Q4_K_M에서 약 380 GB가 필요해 어떤 소비자용 기기 한 대로도 감당할 수 없습니다.