~/tools / Local LLM Memory Estimator
Local LLM Memory Estimator — 估算本機 LLM 需要的記憶體:模型檔案加上 KV cache
估算在 VPS 或自己的電腦上執行本機 LLM 需要多少記憶體:模型檔案,加上依上下文長度與平行請求數而定的 KV cache。預設選項採用 Qwen3 與 Mistral 7B 官方公開的下載大小與模型設定。輸入的內容不會離開你的瀏覽器。
估算結果
- 模型權重
- 4.84 GiB
- KV cache
- 0.56 GiB
- 保留量
- 1.00 GiB
- 合計
- 6.41 GiB (6.88 GB)
- 容得下的最小常見記憶體容量
- 8 GiB
這是估算值。其中不包含執行環境的運算緩衝區,並假設每一層的 KV 形狀都相同。在選擇方案之前,請先量測實際執行的情況。
模型資料確認日期:2026-10-26。
資料來源: Ollama library · 模型設定 (config.json) · Ollama FAQ
所有處理都在你的瀏覽器中進行,不會上傳任何內容。
本機語言模型的記憶體主要用在兩個地方。第一是模型本身,大小與下載檔案差不多。第二是 KV cache(KV 快取),它會隨上下文的長度,以及伺服器同時處理的請求數量而增加。Ollama FAQ 指出,所需的 RAM 會依 OLLAMA_NUM_PARALLEL 乘以 OLLAMA_CONTEXT_LENGTH 而成比例增加,而且以 q8_0 量化快取,使用的記憶體約為 f16 的一半,q4_0 則約為四分之一。本工具會幫你把這兩部分相加。檔案大小取自 Ollama library,層數、KV heads 與 head dimension 則取自各模型的官方設定檔,快取依「2 × 層數 × KV heads × head dimension × 上下文長度 × 平行請求數 × 每個值的位元組數」計算。接著加上留給作業系統與其他服務的保留量,以 GiB 與 GB 顯示總量,指出容得下它的最小常見記憶體容量,並告訴你是否放得進你輸入的 VPS 方案。結果是估算值,而非實測值:其中不包含執行環境自身的運算緩衝區,在決定方案之前,應該先在實際的伺服器上量測。模型資料的確認日期顯示在工具下方。
使用情境
- 在付費之前,決定 VPS 方案的記憶體容量
- 查看提高上下文長度或平行請求數,會讓記憶體增加多少
- 針對同一台伺服器,比較較小的模型與較大的模型
使用方法
- 選擇模型,或選擇自訂項目,並輸入你自己模型的檔案大小、層數、KV heads 與 head dimension。
- 設定上下文長度、平行請求數、KV cache 類型,以及留給作業系統與其他服務的保留量。
- 也可以輸入你正在考慮的方案的記憶體,查看估算值是否放得下,以及差多少。
FAQ
記憶體是怎麼計算的?
本工具把三個部分相加。權重是模型檔案的下載大小。KV cache 為「2 × 層數 × KV heads × head dimension × 上下文長度 × 平行請求數 × 每個值的位元組數」,其中每個值在 f16 下占 2 位元組,在 q8_0 下約 1 位元組,在 q4_0 下約半個位元組,依據的是 Ollama FAQ 中的比例。第三部分是你自行設定、留給作業系統與其他服務的保留量。
模型的數值是從哪裡來的?
檔案大小與量化方式,是 Ollama library 為各個標籤所顯示的內容。層數、KV heads 與 head dimension,則取自 Hugging Face 上各模型的官方 config.json。Mistral 7B 沒有提供 head dimension,因此採用 hidden size 除以 attention heads 數量的值。確認日期顯示在工具下方。
為什麼結果只是估算值?
執行環境還需要為運算緩衝區準備工作記憶體,本工具並未計入,而且實際用量會依執行環境與其設定而異。在選擇方案之前,請先量測實際執行時的記憶體用量,並保留一些餘裕。
GB 與 GiB 有什麼不同?
1 GB 是 1,000,000,000 位元組,1 GiB 是 1,073,741,824 位元組。本工具的總量兩種都會顯示,並以 GiB 的總量與你輸入的方案記憶體相比較,以免高估放得下的量。業者所標示的「GB」可能是其中任一種,請確認你的業者採用哪種算法。
可以使用清單中沒有的模型嗎?
可以。選擇自訂項目,並輸入檔案大小、層數、KV heads 與 head dimension,這些數值都記載在模型的 config.json 中。此公式假設每一層的 KV 形狀都相同,因此不適用於混用不同類型的層、使用滑動視窗,或採用混合專家(mixture of experts)的模型。
KV cache 類型改變的是什麼?
它只改變快取的大小,不會改變權重。依據 Ollama FAQ,q8_0 使用的記憶體約為 f16 的一半,q4_0 約為四分之一。本工具並未量測較小的快取會如何影響回答。
我輸入的內容會被送到伺服器嗎?
不會。計算在你的瀏覽器中執行。