~/ / Artykuły o AI / Lokalne LLM na VPS / Ile pamięci potrzebuje lokalny LLM na VPS? Plik modelu plus pamięć podręczna KV
Ile pamięci potrzebuje lokalny LLM na VPS? Plik modelu plus pamięć podręczna KV
Zanim wynajmiesz serwer do uruchamiania lokalnego modelu, musisz wiedzieć, ile pamięci ten model zajmie. Odpowiedź ma dwie części: sam model oraz pamięć podręczna, która rośnie wraz z długością rozmowy i liczbą żądań obsługiwanych jednocześnie. Ten artykuł zbiera to, co mówią biblioteka Ollama, FAQ Ollama i oficjalne pliki konfiguracyjne modeli, wylicza rozmiar tej pamięci podręcznej dla sześciu popularnych modeli i pozwala sprawdzić własne wartości.
Opublikowano: · 4 min czytania · Dane o modelach sprawdzono w oficjalnych źródłach w dniu 2026-10-26. Rozmiary i wartości domyślne się zmieniają, więc przed wyborem planu potwierdź je samodzielnie.
Pamięć zapełniają dwie rzeczy
Pierwszą są wagi modelu, które zajmują mniej więcej tyle pamięci, co pobierany plik. Drugą jest pamięć podręczna KV (KV cache), w której przechowywane są klucze i wartości już obliczone przez model dla tekstu w jego kontekście. FAQ Ollama podaje, że wymagana ilość RAM skaluje się jako OLLAMA_NUM_PARALLEL pomnożone przez OLLAMA_CONTEXT_LENGTH.
Rozmiar pamięci podręcznej można wyliczyć z konfiguracji modelu: 2 × liczba warstw × liczba głowic KV × wymiar głowicy × bajty na wartość daje liczbę bajtów dla jednego tokenu, a wynik mnożysz przez długość kontekstu i liczbę równoległych żądań. W formacie f16 jedna wartość zajmuje 2 bajty. Dla Qwen3 8B, który ma 36 warstw, 8 głowic KV i wymiar głowicy 128, jeden token zajmuje 2 × 36 × 8 × 128 × 2 = 147,456 bajtów. Przy 4,096 tokenach daje to 576 MiB, a przy 32,768 tokenach 4,608 MiB. Ten wzór to nasze obliczenie na podstawie wartości z konfiguracji, a nie wartość opublikowana przez Ollama.
Co mówią oficjalne źródła o poszczególnych modelach
Rozmiar pobieranego pliku i kwantyzacja pochodzą z biblioteki Ollama, która pokazuje je dla każdego tagu; wszystkie sześć poniższych tagów jest pokazanych z kwantyzacją Q4_K_M. Liczba warstw, głowic KV i wymiar głowicy pochodzą z pliku config.json każdego modelu w Hugging Face.
| Model | Rozmiar pobieranego pliku (GB) | Warstwy | Głowice KV | Wymiar głowicy |
|---|---|---|---|---|
| Qwen3 0.6B | 0.523 | 28 | 8 | 128 |
| Qwen3 1.7B | 1.4 | 28 | 8 | 128 |
| Qwen3 4B | 2.5 | 36 | 8 | 128 |
| Qwen3 8B | 5.2 | 36 | 8 | 128 |
| Qwen3 14B | 9.3 | 40 | 8 | 128 |
| Mistral 7B (v0.3) | 4.4 | 32 | 8 | 128 |
Konfiguracja Mistral 7B nie podaje wymiaru głowicy, więc jest to rozmiar warstwy ukrytej podzielony przez liczbę głowic uwagi: 4096 ÷ 32 = 128. Tag Qwen3 4B w bibliotece Ollama podaje okno kontekstu 256K. Wydania 2507 modelu Qwen3 4B w Hugging Face mają taką samą liczbę warstw, głowic KV i taki sam wymiar głowicy jak oryginał.
Co to oznacza dla pamięci
Na podstawie powyższego wzoru ta tabela pokazuje pamięć podręczną dla każdego modelu przy dwóch długościach kontekstu oraz szacunkową sumę przy 4,096 tokenach. Suma to wagi, pamięć podręczna w f16 dla jednego żądania naraz oraz rezerwa 1 GiB na system operacyjny i inne usługi. Ostatnia kolumna podaje najmniejszy popularny rozmiar pamięci, który to pomieści.
| Model | Pamięć podręczna KV przy 4,096 tokenach (MiB) | Pamięć podręczna KV przy 32,768 tokenach (MiB) | Szacunkowa suma przy 4,096 tokenach (GiB) | Najmniejszy popularny rozmiar pamięci (GiB) |
|---|---|---|---|---|
| Qwen3 0.6B | 448 | 3584 | 1.92 | 2 |
| Qwen3 1.7B | 448 | 3584 | 2.74 | 4 |
| Qwen3 4B | 576 | 4608 | 3.89 | 4 |
| Qwen3 8B | 576 | 4608 | 6.41 | 8 |
| Qwen3 14B | 640 | 5120 | 10.29 | 12 |
| Mistral 7B (v0.3) | 512 | 4096 | 5.60 | 8 |
To szacunki, a nie pomiary. Model, który przy 4,096 tokenach mieści się z niewielkim zapasem, nie zmieści się po zwiększeniu długości kontekstu: przy 32,768 tokenach sama pamięć podręczna Qwen3 8B zajmuje 4,608 MiB.
Dłuższy kontekst, więcej równoległych żądań
- FAQ Ollama podaje, że wymagana ilość RAM skaluje się jako OLLAMA_NUM_PARALLEL pomnożone przez OLLAMA_CONTEXT_LENGTH, i przytacza przykład: kontekst 2K przy 4 równoległych żądaniach daje kontekst 8K i dodatkową pamięć.
- Dla OLLAMA_NUM_PARALLEL udokumentowano wartość domyślną 1, więc serwer dla jednego użytkownika zaczyna od jednego żądania naraz.
- FAQ podaje również, że kwantyzacja pamięci podręcznej klucz-wartość za pomocą q8_0 zużywa w przybliżeniu o połowę mniej pamięci niż f16, a q4_0 w przybliżeniu jedną czwartą. Pamięć podręczna zmniejsza się wtedy do około 288 MiB dla Qwen3 8B przy 4,096 tokenach z q8_0, przy użyciu proporcji z FAQ.
- Strona o długości kontekstu w dokumentacji Ollama mówi, że większa długość kontekstu zwiększa pamięć potrzebną modelowi, a kolumna PROCESSOR w wyniku polecenia ollama ps pozwala sprawdzić, czy model został przeniesiony na CPU.
Wypróbuj własne wartości
Poniższy kalkulator używa tego samego wzoru i tych samych danych. Wybierz model lub wpisz własny, ustaw długość kontekstu, liczbę równoległych żądań, typ pamięci podręcznej i rezerwę, a następnie wpisz pamięć rozważanego planu, aby sprawdzić, czy szacunek się mieści.
Wypróbuj: Local LLM Memory Estimator
Oszacowanie
- Wagi modelu
- 4.84 GiB
- KV cache
- 0.56 GiB
- Rezerwa
- 1.00 GiB
- Suma
- 6.41 GiB (6.88 GB)
- Najmniejszy popularny rozmiar pamięci, który to pomieści
- 8 GiB
To jest oszacowanie. Nie obejmuje buforów obliczeniowych środowiska uruchomieniowego i zakłada, że każda warstwa ma ten sam kształt KV. Zanim wybierzesz plan, zmierz prawdziwe uruchomienie.
Dane modelu sprawdzono: 2026-10-26.
Źródła: Ollama library · Konfiguracja modelu (config.json) · Ollama FAQ
Wszystko działa w Twojej przeglądarce. Nic nie jest przesyłane.
Zanim wybierzesz plan
- Szacunek pomija pamięć roboczą samego środowiska uruchomieniowego na jego bufory obliczeniowe. Nasza sugestia: uruchom model na serwerze testowym, obserwuj zużycie pamięci przy długości kontekstu, której zamierzasz używać, i zostaw pewien zapas.
- 1 GB to 1,000,000,000 bajtów, a 1 GiB to 1,073,741,824 bajtów. „GB” u dostawcy może oznaczać jedno lub drugie, więc przed porównaniem sprawdź, jak liczy dostawca.
- Pamięć nie jest jedynym ograniczeniem. Pliki modeli z tabeli potrzebują także miejsca na dysku, a dokumenty, które sprawdziliśmy, nie podają żadnych danych o szybkości działania wyłącznie na CPU.
- Jeśli model mieści się ledwo-ledwo, wybierz następny większy rozmiar lub mniejszy model zamiast zmniejszać długość kontekstu, aż zacznie działać.
Źródła
- Ollama library: qwen3
- Ollama library: mistral
- Ollama documentation: FAQ
- Ollama documentation: Context length
- Qwen3-0.6B config.json (Hugging Face)
- Qwen3-1.7B config.json (Hugging Face)
- Qwen3-4B config.json (Hugging Face)
- Qwen3-8B config.json (Hugging Face)
- Qwen3-14B config.json (Hugging Face)
- Mistral-7B-Instruct-v0.3 config.json (Hugging Face)
Czytaj dalej
- Wywołanie lokalnego modelu z własnego kodu: ustrukturyzowane odpowiedzi i API zgodne z OpenAI w OllamaOgranicz odpowiedź lokalnego modelu za pomocą JSON Schema i wywołuj Ollama z klientów w stylu OpenAI: co mówi oficjalna dokumentacja i czego nie obsługuje.
- Co potrafi model lokalny? Tools, thinking, vision i embeddings w Ollamie oraz co zmieści się na VPSTools, thinking, vision, embeddings: co znaczą etykiety w bibliotece Ollama, które modele je mają i jak duże są pobrania.
- Instalacja Ollama na VPS i utrzymanie jej w ruchu: instalacja, usługa systemd, ustawienia i aktualizacjeInstalacja Ollama na VPS z Linuksem i utrzymanie jej w ruchu: polecenie instalacji, usługa systemd, zmienne środowiskowe, przechowywanie modeli i aktualizacje, na podstawie oficjalnej dokumentacji.
- AI na własnym VPS: ile pamięci zaplanować i czego nie wystawiać do internetuPlanujesz uruchomić Ollama lub Dify na VPS? Co oficjalna dokumentacja mówi o pamięci, pracy wyłącznie na CPU i portach, które trzeba zostawić zamknięte.