~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — Yerel bir LLM'in gereken belleği: model dosyası artı KV önbelleği

Bir VPS'te veya kendi makinenizde çalışacak yerel bir LLM'in ne kadar belleğe ihtiyaç duyduğunu tahmin edin: model dosyası artı bağlam uzunluğunuz ve paralel istek sayınız için KV önbelleği. Hazır ayarlar, Qwen3 ve Mistral 7B'nin resmî indirme boyutlarını ve model yapılandırmalarını kullanır. Hiçbir veri tarayıcınızdan çıkmaz.

Yerel bir dil modeli iki şey için belleğe ihtiyaç duyar. Birincisi modelin kendisidir ve boyutu yaklaşık olarak indirme dosyasının boyutu kadardır. İkincisi KV önbelleğidir (KV cache); bu önbellek bağlamın uzunluğuyla ve sunucunun aynı anda işlediği isteklerin sayısıyla birlikte büyür. Ollama FAQ, gereken RAM'in OLLAMA_NUM_PARALLEL ile OLLAMA_CONTEXT_LENGTH değerinin çarpımıyla ölçeklendiğini ve önbelleği q8_0 ile nicemlemenin (quantization) f16'ya kıyasla yaklaşık yarı, q4_0 ile nicemlemenin ise yaklaşık dörtte bir bellek kullandığını belirtir. Bu araç iki parçayı sizin yerinize toplar. Dosya boyutunu Ollama library'den, katman sayısını, KV head sayısını ve head boyutunu ise her modelin resmî yapılandırma dosyasından alır ve önbelleği şu şekilde hesaplar: 2 × katman sayısı × KV head sayısı × head boyutu × bağlam uzunluğu × paralel istek sayısı × değer başına bayt. Ardından işletim sistemi ve diğer servisler için bir pay ekler, toplamı GiB ve GB cinsinden gösterir, toplamı karşılayan en küçük yaygın bellek boyutunu belirtir ve yazdığınız VPS planına sığıp sığmadığını söyler. Sonuç bir ölçüm değil, bir tahmindir: çalışma zamanının (runtime) kendi hesaplama arabelleklerini içermez ve gerçek bir sunucu, bir plana karar vermeden önce ölçülmelidir. Model verileri, aracın altında gösterilen tarihte kontrol edilmiştir.