~/ / Ein lokales LLM auf dem eigenen Server
Tools, um Ollama auf dem eigenen Rechner oder einem VPS zu betreiben, in der Reihenfolge, in der man sie braucht. Schätze den Speicherbedarf eines Modells ab, halte den Server mit systemd am Laufen, veröffentliche ihn sicher hinter nginx und rufe seine API auf. Wenn etwas nicht funktioniert, lies seine Antworten, die Details des Modells und das Server-Log.
Sehen Sie, was Ollama im Arbeitsspeicher hält, wie lange es dort bleibt und welche Einstellungen das ändern: ollama ps, keep_alive und die Grenzwerte, nach den offiziellen FAQ.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Betreiben Sie Dify auf Ihrem eigenen VPS und nutzen Sie Ollama als Modell: Installation, die Plugin-Felder, das Adressproblem in Docker und Embeddings, nach der offiziellen Dokumentation.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Kein leistungsstarker PC? Mieten Sie einen VPS und betreiben Sie ein kleines lokales LLM im Browser: sechs Schritte von der Speicherschätzung bis zur geschützten Chat-Oberfläche, mit ehrlich benannten Grenzen.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator, LLM API Cost Calculator
Open WebUI mit Docker betreiben und auf dem eigenen Server mit Ollama verbinden: die Befehle, das erste Konto, die zwei Verbindungstypen und das Aktualisieren.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator
Die Ausgabe eines lokalen Modells mit einem JSON Schema einschränken und Ollama aus Clients im OpenAI-Stil aufrufen: was die offizielle Dokumentation sagt und was nicht unterstützt wird.
Veröffentlicht: Werkzeuge zum Ausprobieren: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Tools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.
Veröffentlicht: Werkzeuge zum Ausprobieren: Local LLM Memory Estimator