~/ / KI-Artikel / Lokale LLMs auf einem VPS
Artikel darüber, wie Sie Sprachmodelle auf dem eigenen Server betreiben: der nötige Arbeitsspeicher, die Installation, die Einstellungen und was jedes Modell kann. Geschrieben ausschließlich nach der offiziellen Dokumentation von Ollama und den Modellherstellern.
Open WebUI mit Docker betreiben und auf dem eigenen Server mit Ollama verbinden: die Befehle, das erste Konto, die zwei Verbindungstypen und das Aktualisieren.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Die Ausgabe eines lokalen Modells mit einem JSON Schema einschränken und Ollama aus Clients im OpenAI-Stil aufrufen: was die offizielle Dokumentation sagt und was nicht unterstützt wird.
Veröffentlicht: Werkzeuge zum Ausprobieren: JSON Schema Validator, LLM JSON Repair
Tools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Ollama auf einem Linux-VPS installieren und dauerhaft betreiben: Installationsbefehl, systemd-Dienst, Umgebungsvariablen, Modellspeicher und Updates, nach der offiziellen Dokumentation.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Modelldatei plus KV-Cache: Was die Ollama-Bibliothek, die Ollama-FAQ und die offiziellen Modellkonfigurationen über den Arbeitsspeicherbedarf eines lokalen LLM auf einem VPS sagen.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Ollama oder Dify auf einem VPS geplant? Was die offiziellen Dokumente zu Arbeitsspeicher, Inferenz nur mit CPU und zu den Ports sagen, die geschlossen bleiben sollten.
Veröffentlicht: Werkzeuge zum Ausprobieren: LLM API Cost Calculator