~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — ローカルLLMに必要なメモリを、モデルファイルとKVキャッシュから見積もる

VPSや手元のマシンでローカルLLMを動かすのに必要なメモリを見積もります。モデルファイルに加えて、コンテキスト長と同時リクエスト数に応じたKVキャッシュを計算します。プリセットには、Qwen3とMistral 7Bの公式のダウンロードサイズとモデル構成の値を使っています。入力した内容はブラウザの外に出ません。

ローカルの言語モデルが必要とするメモリは、大きく2つです。1つはモデルそのもので、ダウンロードするファイルとほぼ同じ大きさです。もう1つはKVキャッシュ(KV cache)で、コンテキストが長くなるほど、またサーバーが同時に処理するリクエストが増えるほど大きくなります。Ollama FAQには、必要なRAMはOLLAMA_NUM_PARALLELとOLLAMA_CONTEXT_LENGTHの積に比例して増えること、また、キャッシュをq8_0で量子化するとf16のおよそ半分、q4_0ではおよそ4分の1のメモリで済むことが書かれています。このツールは、この2つの合計を計算します。ファイルサイズはOllama libraryから、レイヤー数・KVヘッド数・ヘッド次元は各モデルの公式の設定ファイルから取り、キャッシュを 2 × レイヤー数 × KVヘッド数 × ヘッド次元 × コンテキスト長 × 同時リクエスト数 × 1値あたりのバイト数 で求めます。そこにOSやほかのサービスのための予備を足し、合計をGiBとGBで示し、その合計が収まる最小の一般的なメモリ容量を挙げ、入力したVPSプランに収まるかどうかも伝えます。結果は実測ではなく見積もりです。実行環境(ランタイム)自身の計算用バッファは含まれていないため、プランを決める前に、実際のサーバーで測ってください。モデルのデータを確認した日付は、ツールの下に表示しています。