toolkitbox

~/ / Artykuły o AI / Lokalne LLM na VPS / AI na własnym VPS: ile pamięci zaplanować i czego nie wystawiać do internetu

AI na własnym VPS: ile pamięci zaplanować i czego nie wystawiać do internetu

Uruchomienie modelu językowego lub kreatora aplikacji AI na wynajętym VPS jest kuszące: stała miesięczna opłata, a dane zostają na serwerze, który kontrolujesz. Ale od wybranego planu zależy, czy to w ogóle ruszy, a domyślna instalacja może zostawić usługę dostępną z internetu. Ten artykuł zbiera to, co oficjalna dokumentacja Ollama i Dify mówi o pamięci, pracy wyłącznie na CPU i wystawieniu w sieci, żebyś mógł wybrać plan, zanim zapłacisz.

Opublikowano: · 4 min czytania · Sprawdzono z oficjalną dokumentacją dnia 2026-10-26. Wersje i ustawienia domyślne się zmieniają, więc przed instalacją potwierdź je w aktualnych dokumentach.

Co musi zmieścić się w pamięci

Rozmiar pobieranego modelu to najmniejsza ilość pamięci, jakiej model potrzebuje, a nie ilość, którą należy zaplanować. Biblioteka Ollama podaje rozmiar pobierania każdego tagu. Na przykład Llama 3.2 ma 1.3 GB dla tagu 1b i 2.0 GB dla tagu 3b, oba z oknem kontekstu 128K.

Poza samym modelem pamięć rośnie wraz z kontekstem. FAQ Ollama podaje, że wymagana ilość RAM skaluje się jako OLLAMA_NUM_PARALLEL pomnożone przez OLLAMA_CONTEXT_LENGTH, i daje przykład: kontekst 2K przy 4 równoległych żądaniach staje się kontekstem 8K i wymaga dodatkowej pamięci. FAQ mówi też, że kwantyzacja pamięci podręcznej klucz-wartość za pomocą q8_0 zużywa w przybliżeniu połowę pamięci w porównaniu z f16, a q4_0 około jednej czwartej.

Tag modeluRozmiar pobieraniaOkno kontekstu
llama3.2:1b1.3 GB128K
llama3.2:3b2.0 GB128K
  • FAQ Ollama podaje 4096 tokenów jako domyślne okno kontekstu, a strona o długości kontekstu mówi, że wartość domyślna zależy od VRAM twojego GPU (4k poniżej 24 GiB). Sprawdź wartość, której faktycznie używa twoja instalacja.
  • README Ollama, które sprawdziliśmy, nie podaje wymaganej ilości RAM dla poszczególnych rozmiarów modeli. Zamiast zgadywać, zmierz: załaduj model z długością kontekstu, której zamierzasz używać, wyślij prompt i obserwuj zużycie pamięci przez serwer.
  • Zostaw miejsce dla systemu operacyjnego i wszystkich innych usług na tym samym serwerze.

Rozmiary pobierania odczytano ze strony biblioteki Ollama w dniu podanym wyżej. To rozmiary plików, a nie zmierzone zużycie pamięci.

Bez GPU: co oznacza praca wyłącznie na CPU

Większość planów VPS nie ma GPU, więc model działa na CPU i w pamięci systemowej. FAQ Ollama opisuje ten przypadek: ollama ps pokazuje 100% CPU w kolumnie PROCESSOR, gdy model został w całości załadowany do pamięci systemowej, a wartością domyślną OLLAMA_MAX_LOADED_MODELS jest 3 dla inferencji na CPU.

Dokumenty nie podają żadnych wartości szybkości dla pracy wyłącznie na CPU i my też żadnych nie mierzyliśmy. Zacznij od najmniejszego modelu, który radzi sobie z twoim zadaniem, i przetestuj go przez kilka dni, zanim zdecydujesz się na dłuższą umowę.

Dify na VPS

Dify można hostować samodzielnie za pomocą Docker Compose. Jego dokumentacja podaje minimalne wymagania systemowe, które są minimami, a nie zaleceniami:

  • CPU: 2 rdzenie lub więcej
  • RAM: 4 GiB lub więcej
  • Linux: Docker 19.03 lub nowszy oraz Docker Compose 2.24.0 lub nowszy
KrokCo robisz
1Sklonuj repozytorium Dify i przejdź do katalogu dify/docker
2Skopiuj .env.example do .env
3Wygeneruj token poleceniem openssl rand -base64 32 i ustaw go jako DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN w .env
4Uruchom docker compose up -d
5Sprawdź docker compose ps: kontenery powinny mieć stan Up lub healthy
6Otwórz /install na swoim serwerze, aby utworzyć konto administratora, a następnie zaloguj się

Strona Dify, którą sprawdziliśmy, nie wspomina o Ollama ani o modelach lokalnych. Jeśli jeden serwer uruchamia zarówno Dify, jak i model lokalny, zaplanuj pamięć dla obu (to nasz odczyt obu dokumentów, a nie wartość z któregokolwiek z nich).

Czego nie wystawiać do internetu

FAQ Ollama mówi, że Ollama domyślnie nasłuchuje na 127.0.0.1 na porcie 11434, a adres nasłuchiwania zmienia się za pomocą zmiennej środowiskowej OLLAMA_HOST. Strona FAQ, którą sprawdziliśmy, nie opisuje żadnego uwierzytelniania serwera Ollama. To, co następuje, to nasza rekomendacja, a nie stwierdzenie z dokumentów:

  • Zostaw Ollama na adresie domyślnym. Jeśli inna maszyna go potrzebuje, połącz się przez tunel SSH zamiast zmieniać adres nasłuchiwania.
  • Jeśli jednak przypiszesz go do adresu sieciowego, ogranicz port w zaporze do adresów, z których korzystasz, i nigdy nie otwieraj go dla wszystkich.
  • Dify jest udostępniane pod adresem serwera, a konto administratora tworzy się w /install. Zrób to natychmiast po uruchomieniu kontenerów i postaw przed nim HTTPS oraz regułę zapory, zanim udostępnisz adres innym.
  • Klucze API dostawców modeli trzymaj w pliku .env lub w magazynie sekretów i poza wszystkim, co commitujesz.

Własny serwer czy API?

VPS kosztuje co miesiąc tyle samo, niezależnie od tego, czy z niego korzystasz, a API pobiera opłatę za tokeny, które wysyłasz i odbierasz. Przy małym wolumenie API może wyjść taniej niż utrzymywanie serwera. Przy dużym, jeśli wystarczy mały model, może wygrać serwer. Wpisz własny wolumen i porównaj.

Wypróbuj: LLM API Cost Calculator

Model A
Model B (opcjonalnie, do porównania)
Użycie

Szacowany koszt

Wpisz ceny i liczby tokenów, aby zobaczyć koszt.

Oficjalne strony z cennikami

To tylko mnoży wpisane liczby. Nie zna cen dostawcy, rabatów, cache'owania, taryf wsadowych, cen progowych ani podatku.

Aby sprawdzić tokeny wejściowe promptu, użyj Token Counter.

Źródła

Czytaj dalej