toolkitbox

~/ / Yapay zeka makaleleri / VPS'te yerel LLM / Küçük bir VPS'te Ollama'nın bellek kullanımını izleyin

Küçük bir VPS'te Ollama'nın bellek kullanımını izleyin

Küçük bir sunucuda sınırı bellek belirler ve Ollama, yanıt verdikten sonra da modeli bellekte tutar. Bu yazı, nelerin yüklü olduğunu, ne kadar süre kaldığını, Ollama'nın aynı anda kaç model ve isteği işlediğini ve hangi ayarların bellek kullanımını değiştirdiğini nasıl göreceğinizi gösterir. Aşağıdaki her varsayılan değer resmî FAQ'den alınmıştır.

Yayın: · 3 dk okuma · Bilgiler, 2026-10-27 tarihinde resmî Ollama belgelerine karşı kontrol edildi. Varsayılanlar sürümler arasında değişebilir; bu yüzden çalıştırdığınız sürümün FAQ'sine bakın.

Nelerin yüklü olduğunu görün

FAQ, şu anda bellekte hangi modellerin yüklü olduğunu görmek için ollama ps komutunun kullanılmasını söyler. PROCESSOR sütunu, bir modelin nerede durduğunu gösterir.

PROCESSOR şunu gösterirFAQ'ye göre anlamı
100% GPUModel tamamen GPU'ya yüklendi.
100% CPUModel tamamen sistem belleğine yüklendi.
48%/52% CPU/GPUModel kısmen hem GPU'ya hem de sistem belleğine yüklendi.

GPU'su olmayan bir VPS'te beklenen değer 100% CPU'dur: model sunucunun belleğinde durur.

Bir model bellekte ne kadar kalır

FAQ'ye göre varsayılan olarak modeller, bellekten çıkarılmadan önce 5 dakika boyunca bellekte tutulur. Bunu tüm sunucu için ya da tek bir istek için değiştirebilirsiniz.

Ne istiyorsunuzFAQ'ye göre nasıl
Bir modeli hemen bellekten çıkarmakollama stop llama3.2
Bir modeli yüklü tutmak/api/generate veya /api/chat'e gönderilen bir istekte keep_alive değerini negatif bir sayıyla, örneğin -1 ile gönderin.
Yanıttan hemen sonra bellekten çıkarmakkeep_alive değerini 0 olarak gönderin.
Başka bir sürekeep_alive ayrıca 10m veya 24h gibi bir süre dizesini ya da 3600 gibi bir saniye sayısını da kabul eder.
Tüm sunucu için ayarlamakSunucuyu başlatırken OLLAMA_KEEP_ALIVE ortam değişkenini ayarlayın. Aynı tür değerleri kabul eder. Bir istekteki keep_alive bunun önüne geçer.

Bizim yorumumuz, belgelerde yazan bir ifade değil: aynı sunucu Dify ya da bir sohbet ekranı gibi başka şeyleri de çalıştırıyorsa, yüklü kalan bir model belleğini onlardan uzak tutar. Daha kısa bir süre belleği daha erken boşaltır ve bir sonraki istekte modelin yeniden yüklenmesi gerekir. Bunun ne kadar sürdüğünü ölçmedik.

Birden fazla model, birden fazla istek

FAQ üç sınırı ve bir kuralı anlatır. Başka modeller yüklüyken yeni bir model kullanılabilir belleğe sığmazsa, yeni istekler model yüklenebilene kadar kuyruğa alınır ve yer açmak için boşta duran modeller bellekten çıkarılır.

Aşağıdaki tahmin aracında paralel istekler için bir alan var; böylece daha yüksek bir ayarın toplamı nasıl değiştirdiğini görebilirsiniz.

AyarFAQ'nin söylediği
OLLAMA_MAX_LOADED_MODELSKullanılabilir belleğe sığmaları koşuluyla aynı anda yüklenebilecek en fazla model sayısı. Varsayılan, GPU sayısının 3 katıdır; CPU ile çıkarımda ise 3'tür.
OLLAMA_NUM_PARALLELHer modelin aynı anda işleyeceği en fazla paralel istek sayısı. Varsayılan 1'dir. Gereken RAM, OLLAMA_NUM_PARALLEL çarpı OLLAMA_CONTEXT_LENGTH ile ölçeklenir.
OLLAMA_MAX_QUEUEOllama meşgulken daha fazlasını reddetmeden önce kuyruğa aldığı en fazla istek sayısı. Varsayılan 512'dir. Reddedilen isteklere 503 hatası verilir.

Deneyin: Local LLM Memory Estimator

Model

Ollama etiketi qwen3:8b, nicemleme Q4_K_M, indirme boyutu 5.2 GB.

Tahmin

Model ağırlıkları
4.84 GiB
KV önbelleği
0.56 GiB
Ayrılan pay
1.00 GiB
Toplam
6.41 GiB (6.88 GB)
Toplamı karşılayan en küçük yaygın bellek boyutu
8 GiB

Bu bir tahmindir. Çalışma zamanının hesaplama arabelleklerini içermez ve her katmanın aynı KV yapısına sahip olduğunu varsayar. Bir plan seçmeden önce gerçek bir çalıştırmayı ölçün.

Model verileri 2026-10-26 tarihinde kontrol edildi.

Kaynaklar: Ollama library · Model yapılandırması (config.json) · Ollama FAQ

Her şey tarayıcınızda çalışır. Hiçbir şey yüklenmez.

Bellek kullanımını değiştiren ayarlar

AyarFAQ'nin söylediği
OLLAMA_CONTEXT_LENGTHOllama varsayılan olarak 4096 tokenlik bir bağlam penceresi kullanır. Ortam değişkeni bunu geçersiz kılar; num_ctx ise oturum başına ya da API üzerinden ayarlanabilir.
OLLAMA_KV_CACHE_TYPEK/V önbelleği için nicemleme türü. Varsayılan f16'dır.
OLLAMA_FLASH_ATTENTIONFlash Attention'ı zorla açmak için sunucuyu başlatırken 1 olarak ayarlayın. FAQ, arka uç ve cihazlar destekliyorsa Ollama'nın bunu otomatik olarak açtığını söyler.

Sunucunun ortam değişkenleri bir systemd override dosyasına yazılır. Ollama'yı bir VPS'e kurma yazısı adımları gösterir. Her ayarın sizin sunucunuzda ne kadar bellek kazandırdığını ölçmedik; bu yüzden bir değişiklikten sonra ollama ps ile kontrol edin.

Kaynaklar

Sırada ne okunmalı