~/ / KI-Artikel / Lokale LLMs auf einem VPS / Dify mit Ollama auf Ihrem eigenen VPS verbinden

Dify mit Ollama auf Ihrem eigenen VPS verbinden

Dify ist eine Plattform zum Bauen von KI-Apps, die Sie auf Ihrem eigenen Server betreiben können. Ollama führt das Modell aus. Dieser Artikel verbindet beide auf einem VPS: wie groß der Server sein muss, wie Sie Dify starten, welche Felder das Ollama-Plugin verlangt und warum die Adresse, die auf einem Laptop funktioniert, innerhalb von Docker scheitern kann. Er sagt auch, wo die Dokumentation aufhört, damit Sie wissen, welche Teile Sie selbst testen sollten.

Veröffentlicht: 2026-10-27 · 6 Min. Lesezeit · Fakten geprüft anhand der offiziellen Dokumentation und Repositories am 2026-10-27. Dify ändert sich schnell, lesen Sie daher die Release Notes der Version, die Sie installieren.

Was Sie vor dem Start brauchen

Die Self-Hosting-Anleitung von Dify nennt das Minimum für Dify selbst. Das Modell braucht zusätzlich eigenen Speicher, deshalb müssen beide Zahlen addiert werden. Der Schätzer unten liefert eine Zahl für das Modell. Sie zu Difys Minimum zu addieren ist unsere Faustregel und keine Aussage der Dify-Dokumentation.

Punkt	Was die Dify-Anleitung sagt
CPU	CPU >= 2 Core
Arbeitsspeicher	RAM >= 4 GiB
Docker Compose	Dify requires Docker Compose 2.24.0 or later.
Git, curl, jq	Der unten stehende Clone-Befehl verwendet git, curl und jq.

Ausprobieren: Local LLM Memory Estimator

Modell

Ollama-Tag qwen3:8b, Quantisierung Q4_K_M, Download-Größe 5.2 GB.

Dateigröße (GB)SchichtenKV headsKopfdimension

Kontextlänge (Tokens)Parallele AnfragenKV-Cache-TypReserve für OS und andere Dienste (GiB)Speicher des Tarifs (GiB, optional)

Schätzung

Modellgewichte: 4.84 GiB
KV-Cache: 0.56 GiB
Reserve: 1.00 GiB
Summe: 6.41 GiB (6.88 GB)
Kleinste gängige Speichergröße, die dafür reicht: 8 GiB

Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.

Modelldaten geprüft am 2026-10-26.

Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ

Alles läuft in Ihrem Browser. Nichts wird hochgeladen.

Schritt 1: Dify mit Docker Compose starten

Dies sind die Befehle aus der Self-Hosting-Anleitung von Dify. Der erste lädt das Tag des neuesten Releases von GitHub herunter, damit Sie von einem Release ausgehen und nicht von einem unfertigen Branch. Zum Zeitpunkt unserer Prüfung war das neueste Release 1.18.0 (veröffentlicht am 2026-10-23).

Schritt	Befehl
Das neueste Release klonen	git clone --branch "$(curl -s https://api.github.com/repos/langgenius/dify/releases/latest \| jq -r .tag_name)" https://github.com/langgenius/dify.git
In den Docker-Ordner wechseln	cd dify/docker
Die Einstellungsdatei kopieren	cp .env.example .env
Ein Token für das Agent-Backend erzeugen	openssl rand -base64 32
Dify starten	docker compose up -d

Tragen Sie das Token, das openssl ausgibt, vor dem Start als DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN in .env ein. Die Anleitung sagt, dass das Agent-Backend und seine Sandbox ohne dieses Token nicht starten.

Schritt 2: das Administratorkonto anlegen

Nachdem die Container laufen, sagt die Anleitung, dass Sie zuerst die Initialisierungsseite für den Administrator öffnen: http://your_server_ip/install auf einem Server oder http://localhost/install auf Ihrem eigenen Computer. Legen Sie dort das Konto an und melden Sie sich dann unter http://your_server_ip an.

Die Dokumentation sagt nicht, wer diese Seite erreichen kann, solange es das Konto noch nicht gibt. Unsere Empfehlung, keine Aussage der Dokumente: Legen Sie das Konto gleich nach dem Start an und lesen Sie den Artikel über den Schutz eines Servers, bevor Sie Dify für das Internet offen lassen.

Schritt 3: das Ollama-Plugin und das Modell hinzufügen

In der aktuellen Dify-Dokumentation werden Modellanbieter über Integrations > Model Provider oder über den Marketplace installiert, und anschließend klicken Sie auf der Karte des Anbieters auf Setup. Die Menünamen ändern sich zwischen den Versionen, suchen Sie deshalb in Ihrer Version nach der Anbieterliste. Die Marketplace-Seite des Ollama-Plugins (zum Zeitpunkt unserer Prüfung Version 1.0.3) sagt, dass Sie Ollama installieren, ein Modell ausführen und prüfen sollen, ob dessen lokale API funktioniert, bevor Sie es zu Dify hinzufügen.

Dies sind die Felder des Plugins, entnommen aus seiner README und seiner Marketplace-Seite.

Feld	Was Sie eintragen
Model Name	Das Ollama-Modell, zum Beispiel gemma3, qwen3, deepseek-r1 oder gpt-oss.
Base URL	Die Wurzel des Ollama-Hosts, http://<your-ollama-host>:11434 für ein lokales Ollama. Geben Sie /api nicht mit an, denn das Plugin ergänzt /api/chat, /api/generate und /api/embed selbst.
API Key	Bei einem lokalen Ollama optional. Nur für Ollama cloud erforderlich.
Model Type	Chat für Chat, Tool-Aufrufe und Vision. Die Marketplace-Seite nennt auch Text-Embeddings und Rerank.
Model Context Length	Passend zum Kontextfenster des Modells.
Upper bound for max tokens	Der größte Wert für max tokens (num_predict), den Dify zulässt.
Vision support / Function call support	Wählen Sie Yes nur für ein Modell, das dies unterstützt.
Attach Dify app_id as request headers	Standardmäßig aus. Wenn aktiv, fügt Dify seinen Aufrufen an Ollama die Header X-Dify-App-Id und X-Dify-Source hinzu. Ollama verwendet sie nicht.

Welche Modelle Vision und Tool-Aufrufe unterstützen, steht im Artikel darüber, was die Modelle der Ollama-Bibliothek können.

Schritt 4: die Adresse, die innerhalb von Docker funktioniert

Dify läuft in Containern, und Ollama läuft auf dem Server selbst. In einem Container ist localhost der Container, nicht der Server. Die Plugin-README sagt: Verwenden Sie eine Host-Adresse, die der Dify-Container erreichen kann, etwa http://host.docker.internal:11434 oder eine LAN-IP-Adresse.

Die Docker-Dokumentation erklärt den Namen. Die Option --add-host unterstützt einen besonderen Wert, host-gateway, der zur internen IP-Adresse des Hosts aufgelöst wird, und es ist üblich, dafür den Namen host.docker.internal zu verwenden. Sie sagt außerdem, dass Docker Desktop den Namen automatisch auflöst. Das Beispiel in der Dokumentation ist --add-host host.docker.internal=host-gateway.

Was wir geprüft haben	Ergebnis
Definiert die docker-compose.yaml von Dify host.docker.internal?	Nein. Wir haben in der Datei des main-Branches weder host.docker.internal noch einen extra_hosts-Eintrag gefunden.
Beschreibt die Docker-Compose-Referenz extra_hosts?	Ja, als Hostname-Zuordnungen in der Form HOSTNAME=IP, die in /etc/hosts eingetragen werden. Die Seite, die wir gelesen haben, erwähnt host-gateway für extra_hosts nicht.
Lauscht Ollama auf anderen Adressen als 127.0.0.1?	Nicht standardmäßig. Die Ollama-FAQ sagt, es binde 127.0.0.1 Port 11434 und die Umgebungsvariable OLLAMA_HOST ändere die Bind-Adresse.

Unsere Lesart, keine Aussage der Dokumente: Auf einem Linux-Server tragen Sie den Hostnamen selbst ein oder verwenden die Adresse des Servers, und möglicherweise müssen Sie auch die Adresse ändern, auf der Ollama lauscht. Wir haben diese Kombination nicht getestet. Wenn Sie OLLAMA_HOST ändern, ist Port 11434 von anderen Rechnern aus erreichbar, und Ollama hat kein eigenes Passwort. Sperren Sie diesen Port daher in der Firewall nach außen. Die Artikel über die Installation von Ollama und über nginx vor Ollama beschreiben die Einstellungen.

Schritt 5: Embeddings und was das Plugin nicht kann

Die Marketplace-Seite des Plugins sagt, dass es Streaming, Thinking, Vision, Tool-Aufrufe und Text-Embeddings unterstützt und dass die Embedding-Vektoren L2-normalized sind. Für Embeddings fügen Sie ein zweites Modell vom Typ Text-Embeddings hinzu, mit einem Embedding-Modell aus der Ollama-Bibliothek.

Sie nennt auch, was nicht enthalten ist. Ollama hat keinen nativen Rerank-Endpunkt, ein Rerank-Modell braucht also einen OpenAI-kompatiblen Rerank-Dienst. Auch die Websuche ist nicht mitgeliefert. Sie braucht ein separates Dify-Tool-Plugin oder einen externen Workflow.

Wenn die Verbindung scheitert

Führen Sie ollama ps aus und prüfen Sie, ob das Modell geladen ist, und öffnen Sie auf dem Server http://127.0.0.1:11434, um zu sehen, ob Ollama antwortet.
Prüfen Sie die Base URL. Sie ist die Host-Wurzel, mit dem Port und ohne /api.
Prüfen Sie, ob die Dify-Container die Adresse erreichen können. Die Dify-Dokumentation sagt, dass ihre ausgehenden Anfragen über einen Proxy laufen, der interne und private IP-Bereiche blockiert. Die Seite nennt HTTP-Knoten und Bild-Downloads und sagt nicht, ob die Anfragen von Modellanbietern denselben Weg nehmen. Wenn Sie eine private Adresse verwenden und sie abgelehnt wird, ist dies eine Stelle, an der Sie nachsehen können.
Lesen Sie die Logs der Container mit docker compose logs. Eine Liste von Fehlermeldungen haben wir in der Dokumentation nicht gefunden.

Dify aktuell halten

Die Anleitung sagt, dass die Upgrade-Schritte zwischen den Releases variieren. Folgen Sie daher der Upgrade-Anleitung für die Version, auf die Sie wechseln; sie steht auf der Seite Dify Releases. Vergleichen Sie nach einem Upgrade .env.example mit Ihrer .env auf neue oder geänderte Variablen. Wenn Sie docker-compose.yaml geändert haben, wenden Sie Ihre Änderungen erneut auf die Datei des neuen Releases an, weil ein Release erforderliche Services hinzufügen kann.