~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — 로컬 LLM에 필요한 메모리 추정: 모델 파일 + KV 캐시

VPS나 내 컴퓨터에서 로컬 LLM을 돌리는 데 필요한 메모리를 추정합니다. 모델 파일에 컨텍스트 길이와 동시 요청 수에 따른 KV 캐시를 더한 값입니다. 프리셋에는 Qwen3와 Mistral 7B의 공식 다운로드 크기와 모델 구성 값을 사용했습니다. 입력한 내용은 브라우저 밖으로 나가지 않습니다.

로컬 언어 모델은 두 가지에 메모리가 필요합니다. 하나는 모델 자체로, 다운로드 파일과 거의 같은 크기입니다. 다른 하나는 KV 캐시(KV cache)로, 컨텍스트 길이와 서버가 동시에 처리하는 요청 수에 따라 커집니다. Ollama FAQ에는 필요한 RAM이 OLLAMA_NUM_PARALLEL에 OLLAMA_CONTEXT_LENGTH를 곱한 값에 비례하며, 캐시를 q8_0으로 양자화하면 f16의 약 절반, q4_0으로 양자화하면 약 4분의 1의 메모리를 쓴다고 나와 있습니다. 이 도구는 두 부분을 대신 더해 줍니다. 파일 크기는 Ollama library에서, 레이어 수, KV 헤드 수, 헤드 차원은 각 모델의 공식 구성 파일에서 가져오고, 캐시는 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 컨텍스트 길이 × 동시 요청 수 × 값당 바이트 수로 계산합니다. 여기에 운영체제와 다른 서비스를 위한 예비분을 더해 합계를 GiB와 GB로 보여 주고, 이를 담을 수 있는 가장 작은 일반 메모리 크기를 알려 주며, 입력한 VPS 플랜에 들어가는지도 알려 줍니다. 결과는 측정값이 아니라 추정값입니다. 런타임 자체의 연산 버퍼는 포함하지 않으므로, 플랜을 정하기 전에 실제 서버에서 측정해야 합니다. 모델 데이터는 도구 아래에 표시된 날짜에 확인했습니다.