~/ / Yapay zeka makaleleri / VPS'te yerel LLM / Bir VPS'te yerel bir LLM ne kadar belleğe ihtiyaç duyar? Model dosyası artı KV önbelleği
Bir VPS'te yerel bir LLM ne kadar belleğe ihtiyaç duyar? Model dosyası artı KV önbelleği
Yerel bir modeli çalıştırmak için sunucu kiralamadan önce ne kadar bellek gerektiğini bilmeniz gerekir. Yanıtın iki parçası vardır: modelin kendisi ve konuşmanın uzunluğuyla ve aynı anda işlenen istek sayısıyla büyüyen bir önbellek. Bu makale, Ollama kütüphanesinin, Ollama SSS'sinin ve resmî model yapılandırma dosyalarının söylediklerini bir araya getiriyor, altı popüler model için önbelleği hesaplıyor ve kendi değerlerinizi denemenize olanak tanıyor.
Yayın: · 4 dk okuma · Model verileri 2026-10-26 tarihinde resmî kaynaklarla karşılaştırılarak kontrol edildi. Boyutlar ve varsayılan değerler değişebilir; bir plan seçmeden önce bunları doğrulayın.
Belleği iki şey doldurur
Birincisi, indirme dosyası kadar bellek kaplayan model ağırlıklarıdır. İkincisi, modelin bağlamındaki metin için daha önce hesapladığı anahtarları ve değerleri tutan KV önbelleğidir. Ollama SSS'si, gereken RAM'in OLLAMA_NUM_PARALLEL ile OLLAMA_CONTEXT_LENGTH çarpımına göre ölçeklendiğini belirtir.
Önbelleğin boyutu modelin yapılandırmasından hesaplanabilir: 2 × katman sayısı × KV başlığı sayısı × başlık boyutu × değer başına bayt, bir token için bayt sayısını verir; bunu bağlam uzunluğu ve paralel istek sayısıyla çarparsınız. f16'da bir değer 2 bayt yer kaplar. 36 katmanı, 8 KV başlığı ve 128 başlık boyutu olan Qwen3 8B için bir token 2 × 36 × 8 × 128 × 2 = 147,456 bayt tutar. 4,096 token'da bu 576 MiB, 32,768 token'da ise 4,608 MiB eder. Bu formül, yapılandırma değerlerinden yaptığımız hesaplamadır; Ollama'nın yayımladığı bir rakam değildir.
Resmî kaynaklar her model için ne diyor
İndirme boyutu ve niceleme, Ollama kütüphanesinin her etiket için gösterdikleridir; aşağıdaki altı etiketin hepsi Q4_K_M nicelemesiyle gösterilir. Katman sayısı, KV başlığı sayısı ve başlık boyutu, her modelin Hugging Face üzerindeki config.json dosyasından alınmıştır.
| Model | İndirme boyutu (GB) | Katman | KV başlığı | Başlık boyutu |
|---|---|---|---|---|
| Qwen3 0.6B | 0.523 | 28 | 8 | 128 |
| Qwen3 1.7B | 1.4 | 28 | 8 | 128 |
| Qwen3 4B | 2.5 | 36 | 8 | 128 |
| Qwen3 8B | 5.2 | 36 | 8 | 128 |
| Qwen3 14B | 9.3 | 40 | 8 | 128 |
| Mistral 7B (v0.3) | 4.4 | 32 | 8 | 128 |
Mistral 7B yapılandırması bir başlık boyutu vermez; bu nedenle gizli boyutun dikkat başlığı sayısına bölünmesiyle bulunur: 4096 ÷ 32 = 128. Ollama kütüphanesindeki Qwen3 4B etiketi 256K'lık bir bağlam penceresi listeler. Hugging Face üzerindeki Qwen3 4B 2507 sürümleri, orijinaliyle aynı katman sayısına, KV başlığı sayısına ve başlık boyutuna sahiptir.
Bellek açısından bunun anlamı
Yukarıdaki formülü kullanan bu tablo, her model için önbelleği iki bağlam uzunluğunda ve 4,096 token'daki tahmini toplamı gösterir. Toplam; ağırlıklar, aynı anda tek istek için f16 önbellek ve işletim sistemi ile diğer hizmetler için ayrılan 1 GiB'lık yedekten oluşur. Son sütun, bunu karşılayan en küçük yaygın bellek boyutudur.
| Model | 4,096 token'da KV önbelleği (MiB) | 32,768 token'da KV önbelleği (MiB) | 4,096 token'da tahmini toplam (GiB) | En küçük yaygın bellek boyutu (GiB) |
|---|---|---|---|---|
| Qwen3 0.6B | 448 | 3584 | 1.92 | 2 |
| Qwen3 1.7B | 448 | 3584 | 2.74 | 4 |
| Qwen3 4B | 576 | 4608 | 3.89 | 4 |
| Qwen3 8B | 576 | 4608 | 6.41 | 8 |
| Qwen3 14B | 640 | 5120 | 10.29 | 12 |
| Mistral 7B (v0.3) | 512 | 4096 | 5.60 | 8 |
Bunlar ölçüm değil, tahmindir. 4,096 token'da yalnızca küçük bir payla sığan bir model, bağlam uzunluğunu artırdığınızda sığmaz: 32,768 token'da yalnızca Qwen3 8B önbelleği 4,608 MiB eder.
Daha uzun bağlam, daha fazla paralel istek
- Ollama SSS'si, gereken RAM'in OLLAMA_NUM_PARALLEL ile OLLAMA_CONTEXT_LENGTH çarpımına göre ölçeklendiğini söyler ve bir örnek verir: 4 paralel istekli 2K bağlam, 8K bağlam ve ek bellek ile sonuçlanır.
- OLLAMA_NUM_PARALLEL varsayılan değeri 1 olarak belgelenmiştir; dolayısıyla tek kullanıcılı bir sunucu aynı anda tek istekle başlar.
- SSS ayrıca anahtar-değer önbelleğinin q8_0 ile nicelenmesinin f16'ya göre yaklaşık yarı belleği, q4_0 ile nicelenmesinin ise yaklaşık dörtte birini kullandığını belirtir. Bu durumda önbellek, SSS'teki oranla, q8_0 ile 4,096 token'da Qwen3 8B için yaklaşık 288 MiB'a düşer.
- Ollama belgelerinin bağlam uzunluğu sayfası, daha büyük bir bağlam uzunluğunun bir modelin ihtiyaç duyduğu belleği artırdığını ve modelin CPU'ya aktarılıp aktarılmadığını görmek için ollama ps çıktısındaki PROCESSOR sütununa bakabileceğinizi söyler.
Kendi değerlerinizi deneyin
Aşağıdaki hesaplayıcı aynı formülü ve aynı verileri kullanır. Bir model seçin veya kendi modelinizi girin; bağlam uzunluğunu, paralel istek sayısını, önbellek türünü ve yedeği ayarlayın, ardından baktığınız planın belleğini yazarak tahminin sığıp sığmadığını görün.
Deneyin: Local LLM Memory Estimator
Tahmin
- Model ağırlıkları
- 4.84 GiB
- KV önbelleği
- 0.56 GiB
- Ayrılan pay
- 1.00 GiB
- Toplam
- 6.41 GiB (6.88 GB)
- Toplamı karşılayan en küçük yaygın bellek boyutu
- 8 GiB
Bu bir tahmindir. Çalışma zamanının hesaplama arabelleklerini içermez ve her katmanın aynı KV yapısına sahip olduğunu varsayar. Bir plan seçmeden önce gerçek bir çalıştırmayı ölçün.
Model verileri 2026-10-26 tarihinde kontrol edildi.
Kaynaklar: Ollama library · Model yapılandırması (config.json) · Ollama FAQ
Her şey tarayıcınızda çalışır. Hiçbir şey yüklenmez.
Bir plan seçmeden önce
- Tahmin, çalışma zamanının hesaplama tamponları için kullandığı kendi çalışma belleğini içermez. Önerimiz: modeli bir test sunucusunda çalıştırın, kullanmayı düşündüğünüz bağlam uzunluğuyla bellek kullanımını izleyin ve biraz pay bırakın.
- 1 GB 1,000,000,000 bayt, 1 GiB ise 1,073,741,824 bayttır. Bir sağlayıcının "GB" ifadesi ikisinden birini kastedebilir; karşılaştırmadan önce sağlayıcınızın nasıl saydığını kontrol edin.
- Sınır yalnızca bellek değildir. Tablodaki model dosyaları da disk alanı gerektirir ve incelediğimiz belgeler yalnızca CPU ile çalışma için hız rakamları vermez.
- Bir model ancak tam sığıyorsa, çalışana kadar bağlam uzunluğunu düşürmek yerine bir üst boyutu veya daha küçük bir modeli seçin.
Kaynaklar
- Ollama library: qwen3
- Ollama library: mistral
- Ollama documentation: FAQ
- Ollama documentation: Context length
- Qwen3-0.6B config.json (Hugging Face)
- Qwen3-1.7B config.json (Hugging Face)
- Qwen3-4B config.json (Hugging Face)
- Qwen3-8B config.json (Hugging Face)
- Qwen3-14B config.json (Hugging Face)
- Mistral-7B-Instruct-v0.3 config.json (Hugging Face)
Sırada ne okunmalı
- Yerel bir modeli kodunuzdan çağırmak: Ollama'da yapılandırılmış çıktılar ve OpenAI uyumlu APIYerel bir modelin çıktısını JSON Schema ile sınırlayın ve Ollama'yı OpenAI tarzı istemcilerden çağırın: resmî belgeler ne diyor ve nelerin desteklenmediği.
- Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığıTools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.
- Ollama'yı VPS'e kurmak ve çalışır tutmak: kurulum, systemd servisi, ayarlar ve güncellemelerOllama'yı bir Linux VPS'e kurun ve çalışır tutun: kurulum komutu, systemd servisi, ortam değişkenleri, model depolama ve güncellemeler, resmî belgelerden.
- Yapay zekâyı kendi VPS'inizde çalıştırmak: ne kadar bellek planlamalı, nereleri dışarıya açmamalıVPS üzerinde Ollama ya da Dify çalıştırmayı mı düşünüyorsunuz? Resmî belgelerin bellek, yalnızca CPU ile çıkarım ve kapalı tutulacak portlar hakkında söyledikleri.