~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — Oszacuj pamięć dla lokalnego LLM: plik modelu plus KV cache

Oszacuj, ile pamięci potrzebuje lokalny LLM na VPS-ie lub własnym komputerze: plik modelu plus KV cache dla wybranej długości kontekstu i liczby równoległych zapytań. Presety korzystają z oficjalnych rozmiarów plików i konfiguracji modeli Qwen3 oraz Mistral 7B. Nic nie opuszcza Twojej przeglądarki.

Lokalny model językowy potrzebuje pamięci na dwie rzeczy. Pierwsza to sam model, który jest mniej więcej tak duży jak jego plik do pobrania. Druga to KV cache, który rośnie wraz z długością kontekstu i z liczbą zapytań obsługiwanych przez serwer jednocześnie. Ollama FAQ podaje, że wymagana pamięć RAM skaluje się jako OLLAMA_NUM_PARALLEL pomnożone przez OLLAMA_CONTEXT_LENGTH oraz że kwantyzacja cache'u w q8_0 zużywa w przybliżeniu połowę pamięci w porównaniu z f16, a q4_0 około jednej czwartej. To narzędzie dodaje obie części za Ciebie. Rozmiar pliku bierze z Ollama library, a liczbę warstw, liczbę głowic KV i wymiar głowicy z oficjalnego pliku konfiguracyjnego każdego modelu, po czym liczy cache jako 2 × warstwy × głowice KV × wymiar głowicy × długość kontekstu × równoległe zapytania × bajty na wartość. Następnie dolicza rezerwę na system operacyjny i inne usługi, pokazuje sumę w GiB i GB, wskazuje najmniejszy popularny rozmiar pamięci, który ją pomieści, oraz informuje, czy wpisany przez Ciebie plan VPS się w niej mieści. Wynik jest oszacowaniem, a nie pomiarem: nie obejmuje własnych buforów obliczeniowych środowiska uruchomieniowego, a prawdziwy serwer warto zmierzyć, zanim zdecydujesz się na plan. Dane modeli sprawdzono w dniu podanym pod narzędziem.