Pamięć Ollamy na małym VPS-ie: jak ją obserwować
Zobacz, co Ollama trzyma w pamięci, jak długo i które ustawienia to zmieniają: ollama ps, keep_alive i limity, według oficjalnego FAQ.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
~/ / Lokalny LLM na własnym serwerze
Lokalny LLM na własnym serwerze
Narzędzia do uruchamiania Ollamy na własnym komputerze lub VPS, w kolejności, w jakiej będą potrzebne. Oszacuj pamięć potrzebną modelowi, utrzymuj serwer przy życiu dzięki systemd, bezpiecznie opublikuj go za nginx i wywołuj jego API. Gdy coś nie działa, przeczytaj jego odpowiedzi, szczegóły modelu i log serwera.
Narzędzia w kolejności użycia
- Oszacuj pamięć dla lokalnego LLM: plik modelu plus KV cacheLocal LLM Memory EstimatorOszacuj pamięć potrzebną lokalnemu LLM na VPS-ie: plik modelu plus KV cache
- Zbuduj override systemd dla Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE i więcejOllama systemd Override GeneratorZbuduj override systemd dla zmiennych środowiskowych Ollama, ujętych w cudzysłów tak, jak odczytuje je systemd
- Zbuduj konfigurację nginx dla Ollama: HTTPS, basic auth, lista dozwolonych adresów, strumieniowanieOllama nginx Config GeneratorZbuduj blok server nginx dla Ollama z HTTPS, hasłem i strumieniowaniem
- Zbuduj żądanie curl do /api/chat Ollama: format, tools, think, optionsOllama API Request BuilderZbuduj żądanie curl do /api/chat Ollama z format, tools, think i options
- Konwertuj żądania i odpowiedzi czatu między Ollama /api/chat a /v1/chat/completionsOllama OpenAI ConverterKonwertuj żądania i odpowiedzi czatu między Ollama /api/chat a /v1/chat/completions
- Złóż strumień odpowiedzi Ollamy i zobacz szybkość oraz powód zatrzymaniaOllama Stream ReaderZłóż strumieniową odpowiedź Ollamy z powrotem i zobacz, dlaczego się zatrzymała i jak szybko działała
- Odczytaj ollama show: kontekst, warstwy, możliwości, licencja, KV cacheOllama Model Info ReaderOdczytaj ollama show lub /api/show: kontekst, warstwy, możliwości, licencję i rozmiar KV cache
- Czytaj log serwera Ollamy: pamięć, warstwy GPU, kontekst, szybkość, ostrzeżeniaOllama Log ReaderCzytaj log serwera Ollamy: pamięć przy każdym załadowaniu modelu, warstwy na GPU, kontekst, szybkość i ostrzeżenia
Artykuły na ten temat
Połącz Dify z Ollamą na własnym VPS
Uruchom Dify na własnym VPS i użyj Ollamy jako jego modelu: instalacja, pola wtyczki, problem z adresem w Dockerze i embeddingi, na podstawie oficjalnej dokumentacji.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Lokalny LLM bez drogiego komputera: poradnik dla początkujących, jak użyć VPS
Nie masz mocnego komputera? Wynajmij VPS i uruchom mały lokalny LLM z poziomu przeglądarki: sześć kroków od oszacowania pamięci po chroniony ekran czatu, z uczciwie opisanymi ograniczeniami.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator, LLM API Cost Calculator
Open WebUI na VPS: uruchom go w Dockerze i połącz z Ollama
Uruchom Open WebUI w Dockerze i połącz go z Ollama na własnym serwerze: polecenia, pierwsze konto, dwa typy połączenia i aktualizacja.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Wywołanie lokalnego modelu z własnego kodu: ustrukturyzowane odpowiedzi i API zgodne z OpenAI w Ollama
Ogranicz odpowiedź lokalnego modelu za pomocą JSON Schema i wywołuj Ollama z klientów w stylu OpenAI: co mówi oficjalna dokumentacja i czego nie obsługuje.
Opublikowano: Narzędzia do użycia: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Co potrafi model lokalny? Tools, thinking, vision i embeddings w Ollamie oraz co zmieści się na VPS
Tools, thinking, vision, embeddings: co znaczą etykiety w bibliotece Ollama, które modele je mają i jak duże są pobrania.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator