~/ / KI-Artikel / Lokale LLMs auf einem VPS / Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passt

Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passt

Ein lokales Modell ist mehr als ein Chatfenster. Die Ollama-Bibliothek kennzeichnet Modelle mit dem, was sie können, und die Dokumentation beschreibt jede dieser Fähigkeiten: Tools aufrufen, ihre Überlegungen zeigen, Bilder lesen und Text für die Suche in Vektoren umwandeln. Dieser Artikel erklärt, was jedes Label bedeutet, listet zehn Modelle mit Labels und Download-Größen auf und zeigt, wie Sie das, was Sie vorhaben, auf den Arbeitsspeicher Ihres Servers abstimmen.

Veröffentlicht: 2026-10-26 · 5 Min. Lesezeit · Labels, Größen und Kontextfenster wurden am 2026-10-26 mit der Ollama-Bibliothek und der Dokumentation abgeglichen. Die Bibliothek ändert sich häufig, prüfen Sie daher die Seite des Tags, das Sie verwenden möchten.

Die vier Labels

Die Ollama-Bibliothek kennzeichnet jedes Modell mit den Fähigkeiten, die es unterstützt. Vier davon sind für das wichtig, was Sie auf einem Server aufbauen. Die Dokumentation beschreibt sie wie folgt.

Label	Was die Dokumentation sagt	So verwenden Sie es
tools	Tool Calling, auch Function Calling genannt, lässt ein Modell Tools aufrufen und deren Ergebnisse in seine Antworten einbeziehen. Unterstützt werden ein einzelner Tool-Aufruf, parallele Tool-Aufrufe und eine mehrstufige Agentenschleife.	Sie listen die verfügbaren Tools im Feld tools einer Anfrage an /api/chat auf. Wenn das Modell ein Tool aufruft, führen Sie es aus und senden die Ausgabe als Nachricht mit der Rolle tool zurück.
thinking	Modelle mit Thinking-Fähigkeit geben ihre Überlegungen getrennt von der endgültigen Antwort aus, sodass Sie die Schritte des Modells prüfen oder die Spur ausblenden können.	Sie setzen den Parameter think in einer Anfrage. Die Überlegungen kommen in message.thinking zurück, die Antwort in message.content.
vision	Vision-Modelle akzeptieren neben Text auch Bilder, sodass das Modell beschreiben, klassifizieren und Fragen zu dem beantworten kann, was es sieht.	Sie übergeben ein Array images in der Nachricht. Die REST-API erwartet base64-kodierte Bilddaten.
embedding	Embeddings sind numerische Vektoren, die Sie in einer Vektordatenbank speichern, per Kosinus-Ähnlichkeit durchsuchen oder in RAG-Pipelines verwenden können.	Sie rufen /api/embed auf. Die Dokumentation empfiehlt für die meiste semantische Suche die Kosinus-Ähnlichkeit sowie dasselbe Embedding-Modell für die Indexierung und für die Abfrage.

Zehn Modelle und ihre Labels

Diese Tabelle listet die Labels, die die Ollama-Bibliothek für jede Modellfamilie zeigt, zusammen mit einem Tag, der Größe aus der Zeile dieses Tags in der Tag-Liste und seinem Kontextfenster. Die Größe ist eine Download-Größe, also der geringste Speicher, den das Modell braucht, nicht die Menge, mit der Sie planen sollten.

Tag	Labels	Download-Größe	Kontextfenster	Was die Bibliothek dazu sagt
qwen3:4b	tools, thinking	2.5 GB	256K	Qwen3 ist die neueste Generation großer Sprachmodelle der Qwen-Reihe
llama3.2:3b	tools	2.0 GB	128K	Metas Llama 3.2 wird klein, mit Modellen zu 1B und 3B
gemma3:4b	vision	3.4 GB	128K	Das leistungsfähigste Modell, das auf einer einzelnen GPU läuft
qwen3-vl:4b	vision, tools, thinking	3.3 GB	256K	Das bisher leistungsstärkste Vision-Language-Modell der Qwen-Familie
deepseek-r1:7b	tools, thinking	4.7 GB	128K	Eine Familie offener Reasoning-Modelle
qwen2.5-coder:7b	tools	4.7 GB	32K	Die neueste Reihe codespezifischer Qwen-Modelle
mistral:7b	tools	4.4 GB	32K	Das 7B-Modell von Mistral AI, aktualisiert auf Version 0.3
gpt-oss:20b	tools, thinking	14 GB	128K	Offene Modelle (Open Weights) von OpenAI für Reasoning und agentische Aufgaben
nomic-embed-text	embedding	274 MB	2K	Ein offenes Embedding-Modell mit einem großen Token-Kontextfenster
embeddinggemma	embedding	622 MB	2K	Ein Embedding-Modell von Google mit 300M Parametern

Die Labels gehören zur Modellfamilie, und eine Familie hat mehrere Größen. Öffnen Sie die Seite des genauen Tags, das Sie verwenden möchten, um vor dem Download seine Eingabetypen und seine Größe zu sehen.

Eine Fähigkeit einer Aufgabe zuordnen

Die Dokumentation nennt die Einsatzzwecke jeder Fähigkeit. Folgendes ist unsere Lesart dessen, was sie für einen Server bedeuten, den Sie selbst betreiben, keine Aussage über Qualität:

Tools: ein Assistent, der in Ihrem eigenen System etwas nachschlagen oder eine Aktion auslösen kann, weil das Modell ein Tool anfordert und Ihr Code es ausführt. Die Tool-Definition, die Sie senden, muss der Form der API folgen, was der Tool Definition Checker prüfen kann.
Thinking: Antworten, bei denen Sie die Überlegungen des Modells getrennt sehen oder protokollieren möchten, zum Beispiel beim Testen eines Prompts. Die Überlegungen kommen vor der Antwort, daher braucht eine Antwort mehr Tokens.
Vision: ein Bild beschreiben oder klassifizieren oder eine Frage dazu beantworten, mit einem Modell, das neben Text auch Bilder akzeptiert.
Embedding: Suche nach Bedeutung und Retrieval für RAG. Die beiden Embedding-Modelle in der Tabelle sind kleine Downloads, 274 MB und 622 MB, und damit weit weniger als ein Chat-Modell.

Was auf einen VPS passt

Der Arbeitsspeicher entscheidet, was Sie betreiben können. Die obigen Download-Größen sind eine Untergrenze, und die Kontextlänge fügt obendrein einen KV-Cache hinzu. Für die Modelle Qwen3 und Mistral 7B verwendet der folgende Rechner die offiziellen Konfigurationswerte, sodass Sie die Summe für Ihre Kontextlänge und für den Tarif sehen, den Sie in Betracht ziehen.

Für die übrigen Modelle in der Tabelle hat der Rechner keine Voreinstellung, weil er die Anzahl der Layer, der KV-Heads und die Head-Dimension aus der Konfigurationsdatei des jeweiligen Modells braucht. Sie können sie als eigenes Modell eintragen.

Ausprobieren: Local LLM Memory Estimator

Modell

Ollama-Tag qwen3:8b, Quantisierung Q4_K_M, Download-Größe 5.2 GB.

Dateigröße (GB)SchichtenKV headsKopfdimension

Kontextlänge (Tokens)Parallele AnfragenKV-Cache-TypReserve für OS und andere Dienste (GiB)Speicher des Tarifs (GiB, optional)

Schätzung

Modellgewichte: 4.84 GiB
KV-Cache: 0.56 GiB
Reserve: 1.00 GiB
Summe: 6.41 GiB (6.88 GB)
Kleinste gängige Speichergröße, die dafür reicht: 8 GiB

Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.

Modelldaten geprüft am 2026-10-26.

Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ

Alles läuft in Ihrem Browser. Nichts wird hochgeladen.

Auswahl

Gehen Sie von der Fähigkeit aus, die Sie brauchen, wählen Sie dann das kleinste Modell mit diesem Label und messen Sie Speicher und Geschwindigkeit auf einem Testserver, bevor Sie sich auf einen Tarif festlegen.
Vergleichen Sie das Kontextfenster in der Tabelle mit Ihrem Einsatz: Die beiden Embedding-Modelle nennen 2K, mistral:7b und qwen2.5-coder:7b nennen 32K.
Mehrere Fähigkeiten können in einem Modell zusammenkommen. Qwen3 trägt tools und thinking, und Qwen3-VL ergänzt vision.
Die Bibliothek führt häufig neue Modelle auf. Betrachten Sie diese Tabelle als Momentaufnahme des oben genannten Datums.