~/ / Artykuły o AI / Lokalne LLM na VPS
Artykuły o uruchamianiu modeli językowych na własnym serwerze: potrzebna pamięć, instalacja, ustawienia i to, co potrafi każdy model. Napisane wyłącznie na podstawie oficjalnej dokumentacji Ollama i twórców modeli.
Uruchom Open WebUI w Dockerze i połącz go z Ollama na własnym serwerze: polecenia, pierwsze konto, dwa typy połączenia i aktualizacja.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Ogranicz odpowiedź lokalnego modelu za pomocą JSON Schema i wywołuj Ollama z klientów w stylu OpenAI: co mówi oficjalna dokumentacja i czego nie obsługuje.
Opublikowano: Narzędzia do użycia: JSON Schema Validator, LLM JSON Repair
Tools, thinking, vision, embeddings: co znaczą etykiety w bibliotece Ollama, które modele je mają i jak duże są pobrania.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Instalacja Ollama na VPS z Linuksem i utrzymanie jej w ruchu: polecenie instalacji, usługa systemd, zmienne środowiskowe, przechowywanie modeli i aktualizacje, na podstawie oficjalnej dokumentacji.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Plik modelu plus pamięć podręczna KV: co biblioteka Ollama, FAQ Ollama i oficjalne konfiguracje modeli mówią o pamięci potrzebnej lokalnemu LLM na VPS.
Opublikowano: Narzędzia do użycia: Local LLM Memory Estimator
Planujesz uruchomić Ollama lub Dify na VPS? Co oficjalna dokumentacja mówi o pamięci, pracy wyłącznie na CPU i portach, które trzeba zostawić zamknięte.
Opublikowano: Narzędzia do użycia: LLM API Cost Calculator