toolkitbox

~/ / Artykuły o AI / Lokalne LLM na VPS / Pamięć Ollamy na małym VPS-ie: jak ją obserwować

Pamięć Ollamy na małym VPS-ie: jak ją obserwować

Na małym serwerze pamięć jest ograniczeniem, a Ollama trzyma model w pamięci jeszcze po udzieleniu odpowiedzi. Ten artykuł pokazuje, jak sprawdzić, co jest załadowane, jak długo to tam zostaje, ile modeli i zapytań Ollama obsługuje jednocześnie oraz które ustawienia zmieniają zużycie pamięci. Każda wartość domyślna poniżej pochodzi z oficjalnego FAQ.

Opublikowano: · 3 min czytania · Fakty sprawdzone w oficjalnej dokumentacji Ollamy dnia 2026-10-27. Wartości domyślne mogą się zmieniać między wersjami, dlatego sprawdź FAQ dla wersji, której używasz.

Sprawdź, co jest załadowane

FAQ podaje, że polecenie ollama ps pokazuje, które modele są aktualnie załadowane do pamięci. Kolumna PROCESSOR mówi, gdzie model się znajduje.

PROCESSOR pokazujeCo to znaczy według FAQ
100% GPUModel został załadowany w całości do GPU.
100% CPUModel został załadowany w całości do pamięci systemowej.
48%/52% CPU/GPUModel został załadowany częściowo do GPU, a częściowo do pamięci systemowej.

Na VPS-ie bez GPU oczekiwanym odczytem jest 100% CPU: model znajduje się w pamięci serwera.

Jak długo model zostaje w pamięci

Według FAQ domyślnie modele są trzymane w pamięci przez 5 minut, zanim zostaną wyładowane. Możesz to zmienić dla całego serwera albo dla jednego zapytania.

Co chcesz zrobićJak, według FAQ
Wyładować model od razuollama stop llama3.2
Zostawić model załadowanyWyślij keep_alive z liczbą ujemną, na przykład -1, w zapytaniu do /api/generate lub /api/chat.
Wyładować zaraz po odpowiedziWyślij keep_alive ustawione na 0.
Inny czaskeep_alive przyjmuje też tekst z czasem trwania, taki jak 10m lub 24h, albo liczbę sekund, na przykład 3600.
Ustawić to dla całego serweraUstaw zmienną środowiskową OLLAMA_KEEP_ALIVE przy uruchamianiu serwera. Przyjmuje takie same rodzaje wartości. keep_alive podane w zapytaniu ma pierwszeństwo przed nią.

Nasza interpretacja, a nie stwierdzenie z dokumentacji: gdy ten sam serwer obsługuje także inne rzeczy, na przykład Dify albo ekran czatu, model, który pozostaje załadowany, zabiera im pamięć. Krótszy czas zwalnia pamięć szybciej, ale przy następnym zapytaniu model trzeba załadować ponownie. Nie mierzyliśmy, ile to trwa.

Kilka modeli, kilka zapytań

FAQ opisuje trzy limity i jedną regułę. Jeśli nowy model nie mieści się w dostępnej pamięci, gdy załadowane są inne modele, nowe zapytania trafiają do kolejki, aż model będzie można załadować, a bezczynne modele są wyładowywane, żeby zrobić miejsce.

Poniższy kalkulator ma pole na zapytania równoległe, dzięki czemu zobaczysz, jak wyższe ustawienie wpływa na sumę.

UstawienieCo mówi FAQ
OLLAMA_MAX_LOADED_MODELSMaksymalna liczba modeli, które mogą być załadowane jednocześnie, pod warunkiem że mieszczą się w dostępnej pamięci. Wartość domyślna to 3 razy liczba GPU, a przy inferencji na CPU: 3.
OLLAMA_NUM_PARALLELMaksymalna liczba równoległych zapytań, które każdy model przetwarza w tym samym czasie. Wartość domyślna to 1. Wymagana ilość RAM rośnie proporcjonalnie do OLLAMA_NUM_PARALLEL razy OLLAMA_CONTEXT_LENGTH.
OLLAMA_MAX_QUEUEMaksymalna liczba zapytań, które Ollama kolejkuje, gdy jest zajęta, zanim zacznie odrzucać kolejne. Wartość domyślna to 512. Odrzucone zapytania dostają błąd 503.

Wypróbuj: Local LLM Memory Estimator

Model

Tag Ollama qwen3:8b, kwantyzacja Q4_K_M, rozmiar pobierania 5.2 GB.

Oszacowanie

Wagi modelu
4.84 GiB
KV cache
0.56 GiB
Rezerwa
1.00 GiB
Suma
6.41 GiB (6.88 GB)
Najmniejszy popularny rozmiar pamięci, który to pomieści
8 GiB

To jest oszacowanie. Nie obejmuje buforów obliczeniowych środowiska uruchomieniowego i zakłada, że każda warstwa ma ten sam kształt KV. Zanim wybierzesz plan, zmierz prawdziwe uruchomienie.

Dane modelu sprawdzono: 2026-10-26.

Źródła: Ollama library · Konfiguracja modelu (config.json) · Ollama FAQ

Wszystko działa w Twojej przeglądarce. Nic nie jest przesyłane.

Ustawienia, które zmieniają zużycie pamięci

UstawienieCo mówi FAQ
OLLAMA_CONTEXT_LENGTHDomyślnie Ollama używa okna kontekstu o wielkości 4096 tokens. Zmienna środowiskowa ją nadpisuje, a num_ctx można ustawić dla sesji lub przez API.
OLLAMA_KV_CACHE_TYPETyp kwantyzacji pamięci podręcznej K/V. Wartość domyślna to f16.
OLLAMA_FLASH_ATTENTIONUstaw na 1 przy uruchamianiu serwera, aby wymusić włączenie Flash Attention. FAQ podaje, że Ollama włącza ją automatycznie, gdy obsługują ją backend i urządzenia.

Zmienne środowiskowe serwera trafiają do nadpisania (override) w systemd. Kroki pokazuje artykuł o instalacji Ollamy na VPS-ie. Nie mierzyliśmy, ile pamięci oszczędza każde ustawienie na Twoim serwerze, dlatego po zmianie sprawdź wynik poleceniem ollama ps.

Źródła

Czytaj dalej