toolkitbox

~/ / AI 文章 / 在 VPS 上跑本機 LLM / 在小型 VPS 上監看 Ollama 的記憶體使用

在小型 VPS 上監看 Ollama 的記憶體使用

在小型伺服器上，記憶體就是上限，而 Ollama 在回答完之後仍會把模型留在記憶體中。本文說明如何查看目前載入了什麼、模型會留多久、Ollama 能同時處理幾個模型與幾個請求，以及哪些設定會改變記憶體用量。以下每個預設值都引用自官方 FAQ。

發布: · 約 4 分鐘讀完 · 本文事實已於 2026-10-27 對照 Ollama 官方文件確認。預設值可能隨版本變動，請以你所執行版本的 FAQ 為準。

查看目前載入了什麼

FAQ 指出，可以用 ollama ps 查看目前有哪些模型載入到記憶體中。PROCESSOR 欄位會告訴你模型位於哪裡。

PROCESSOR 顯示FAQ 所說的意思
100% GPU模型已完全載入 GPU。
100% CPU模型已完全載入系統記憶體。
48%/52% CPU/GPU模型一部分載入 GPU，另一部分載入系統記憶體。

在沒有 GPU 的 VPS 上，100% CPU 是預期中的結果：模型位於伺服器的記憶體中。

模型會在記憶體中停留多久

FAQ 指出，預設情況下，模型會在記憶體中保留 5 分鐘，之後才會卸載。你可以針對整台伺服器變更這項設定，也可以只針對單一請求變更。

你想做的事依 FAQ 的做法
立刻卸載模型ollama stop llama3.2
讓模型一直保持載入在對 /api/generate 或 /api/chat 的請求中，將 keep_alive 設為負數，例如 -1。
回答後立刻卸載將 keep_alive 設為 0。
其他時間長度keep_alive 也接受 10m 或 24h 這類時間長度字串，或是 3600 這類以秒為單位的數字。
為整台伺服器設定啟動伺服器時設定 OLLAMA_KEEP_ALIVE 環境變數，可接受的值類型相同。請求中的 keep_alive 優先於它。

這是我們的解讀，並非文件中的說法：當同一台伺服器還執行其他東西時，例如 Dify 或聊天畫面，一直留在記憶體中的模型會佔用它們可用的記憶體。時間設得較短，記憶體會較早釋放，但下一次請求就得重新載入模型。我們沒有測量重新載入需要多久。

多個模型、多個請求

FAQ 描述了三項上限與一條規則。如果在已載入其他模型的情況下，新模型無法放進可用記憶體，新的請求會排隊等候，直到能夠載入為止，並且會卸載閒置的模型來騰出空間。

下方的估算工具有一個「平行請求」欄位，你可以藉此看看調高設定會讓總量變成多少。

設定FAQ 的說明
OLLAMA_MAX_LOADED_MODELS在可用記憶體放得下的前提下，可同時載入的模型數量上限。預設值為 GPU 數量的 3 倍；若是 CPU 推論，則為 3。
OLLAMA_NUM_PARALLEL每個模型可同時處理的平行請求數量上限。預設值為 1。所需的 RAM 會依 OLLAMA_NUM_PARALLEL 乘以 OLLAMA_CONTEXT_LENGTH 的比例增加。
OLLAMA_MAX_QUEUEOllama 在忙碌時最多讓多少請求排隊，超過之後便拒絕更多請求。預設值為 512。被拒絕的請求會收到 503 錯誤。

試試看: Local LLM Memory Estimator

模型

Ollama 標籤 qwen3:8b,量化 Q4_K_M,下載大小 5.2 GB。

估算結果

模型權重
4.84 GiB
KV cache
0.56 GiB
保留量
1.00 GiB
合計
6.41 GiB (6.88 GB)
容得下的最小常見記憶體容量
8 GiB

這是估算值。其中不包含執行環境的運算緩衝區,並假設每一層的 KV 形狀都相同。在選擇方案之前,請先量測實際執行的情況。

模型資料確認日期:2026-10-26。

資料來源: Ollama library · 模型設定 (config.json) · Ollama FAQ

所有處理都在你的瀏覽器中進行,不會上傳任何內容。

會改變記憶體用量的設定

設定FAQ 的說明
OLLAMA_CONTEXT_LENGTH預設情況下，Ollama 使用 4096 tokens 的情境視窗。這個環境變數可以覆寫它，num_ctx 則可以在每個工作階段中或透過 API 設定。
OLLAMA_KV_CACHE_TYPEK/V 快取的量化類型。預設值為 f16。
OLLAMA_FLASH_ATTENTION啟動伺服器時設為 1，可強制開啟 Flash Attention。FAQ 指出，當後端與裝置支援時，Ollama 會自動開啟它。

伺服器的環境變數要寫進 systemd 的 override。關於在 VPS 上安裝 Ollama 的文章會示範步驟。我們沒有測量每項設定在你的伺服器上能省下多少記憶體，所以變更之後請用 ollama ps 確認。

資料來源

接著閱讀