~/ / Artykuły o AI / Lokalne LLM na VPS / Co potrafi model lokalny? Tools, thinking, vision i embeddings w Ollamie oraz co zmieści się na VPS
Co potrafi model lokalny? Tools, thinking, vision i embeddings w Ollamie oraz co zmieści się na VPS
Model lokalny to nie tylko okno czatu. Biblioteka Ollama oznacza modele etykietami tego, co potrafią, a dokumentacja opisuje każdą z tych możliwości: wywoływanie narzędzi, pokazywanie rozumowania, odczytywanie obrazów i zamianę tekstu na wektory na potrzeby wyszukiwania. Ten artykuł wyjaśnia, co znaczy każda etykieta, zestawia dziesięć modeli z ich etykietami i rozmiarami pobierania oraz pokazuje, jak dopasować to, co chcesz robić, do pamięci serwera.
Opublikowano: · 4 min czytania · Etykiety, rozmiary i okna kontekstu sprawdzono w bibliotece i dokumentacji Ollama dnia 2026-10-26. Biblioteka często się zmienia, więc sprawdź stronę tagu, którego zamierzasz użyć.
Cztery etykiety
Biblioteka Ollama oznacza każdy model obsługiwanymi możliwościami. Cztery z nich mają znaczenie dla tego, co budujesz na serwerze. Dokumentacja opisuje je następująco.
| Etykieta | Co mówi dokumentacja | Jak z tego korzystać |
|---|---|---|
| tools | Wywoływanie narzędzi (tool calling), zwane też wywoływaniem funkcji, pozwala modelowi uruchamiać narzędzia i uwzględniać ich wyniki w odpowiedziach. Obsługuje pojedyncze wywołanie narzędzia, równoległe wywołania narzędzi oraz wieloturową pętlę agenta. | Dostępne narzędzia wymieniasz w polu tools żądania do /api/chat. Gdy model wywoła narzędzie, uruchamiasz je i odsyłasz wynik jako wiadomość z rolą tool. |
| thinking | Modele zdolne do thinking zwracają swoje rozumowanie oddzielnie od odpowiedzi końcowej, dzięki czemu możesz sprawdzić kroki modelu albo ukryć ten ślad. | W żądaniu ustawiasz parametr think. Rozumowanie wraca w message.thinking, a odpowiedź w message.content. |
| vision | Modele vision przyjmują obrazy razem z tekstem, więc model może opisywać, klasyfikować i odpowiadać na pytania o to, co widzi. | W wiadomości przekazujesz tablicę images. REST API oczekuje danych obrazu zakodowanych w base64. |
| embedding | Embeddings to wektory liczbowe, które można przechowywać w bazie wektorowej, przeszukiwać z użyciem podobieństwa cosinusowego lub wykorzystywać w potokach RAG. | Wywołujesz /api/embed. Dokumentacja zaleca podobieństwo cosinusowe w większości wyszukiwań semantycznych oraz ten sam model embedding do indeksowania i do zapytań. |
Dziesięć modeli i ich etykiety
Ta tabela zawiera etykiety, które biblioteka Ollama pokazuje dla każdej rodziny modeli, wraz z jednym tagiem, rozmiarem widocznym w wierszu tego tagu na liście tagów oraz jego oknem kontekstu. Rozmiar to rozmiar pobierania, czyli najmniejsza ilość pamięci, jakiej model potrzebuje, a nie ilość, na którą warto planować.
| Tag | Labels | Download size | Context window | Co mówi o nim biblioteka |
|---|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 256K | Qwen3 to najnowsza generacja dużych modeli językowych z serii Qwen |
| llama3.2:3b | tools | 2.0 GB | 128K | Llama 3.2 od Meta idzie w małe rozmiary z modelami 1B i 3B |
| gemma3:4b | vision | 3.4 GB | 128K | Najbardziej wydajny model, jaki działa na pojedynczym GPU |
| qwen3-vl:4b | vision, tools, thinking | 3.3 GB | 256K | Jak dotąd najpotężniejszy model wizyjno-językowy w rodzinie Qwen |
| deepseek-r1:7b | tools, thinking | 4.7 GB | 128K | Rodzina otwartych modeli rozumujących |
| qwen2.5-coder:7b | tools | 4.7 GB | 32K | Najnowsza seria modeli Qwen wyspecjalizowanych w kodzie |
| mistral:7b | tools | 4.4 GB | 32K | Model 7B wydany przez Mistral AI, zaktualizowany do wersji 0.3 |
| gpt-oss:20b | tools, thinking | 14 GB | 128K | Otwarte modele (open-weight) OpenAI do zadań rozumowania i agentowych |
| nomic-embed-text | embedding | 274 MB | 2K | Otwarty model embedding z dużym oknem kontekstu tokenów |
| embeddinggemma | embedding | 622 MB | 2K | Model embedding z 300M parametrów od Google |
Etykiety należą do rodziny modeli, a rodzina ma kilka rozmiarów. Zanim coś pobierzesz, otwórz stronę dokładnie tego tagu, którego zamierzasz użyć, żeby zobaczyć jego typy danych wejściowych i rozmiar.
Dopasowanie możliwości do zadania
Dokumentacja wymienia zastosowania każdej możliwości, a poniżej jest nasza interpretacja tego, co oznaczają one dla serwera prowadzonego samodzielnie, a nie twierdzenie o jakości:
- Tools: asystent, który potrafi coś wyszukać lub uruchomić akcję w Twoim własnym systemie, ponieważ model prosi o narzędzie, a Twój kod je uruchamia. Definicja narzędzia, którą wysyłasz, musi mieć kształt zgodny z API, co można sprawdzić w Tool Definition Checker.
- Thinking: odpowiedzi, przy których chcesz widzieć lub zapisywać rozumowanie modelu osobno, na przykład podczas testowania promptu. Rozumowanie przychodzi przed odpowiedzią, więc odpowiedź zużywa więcej tokenów.
- Vision: opisywanie lub klasyfikowanie obrazu albo odpowiadanie na pytanie o niego za pomocą modelu, który przyjmuje obrazy razem z tekstem.
- Embedding: wyszukiwanie według znaczenia oraz pobieranie danych dla RAG. Dwa modele embedding w tabeli to małe pobrania, 274 MB i 622 MB, czyli znacznie mniej niż model czatu.
Co zmieści się na VPS
O tym, co możesz uruchomić, decyduje pamięć. Rozmiary pobierania podane wyżej to dolna granica, a długość kontekstu dodaje do tego KV cache. Dla modeli Qwen3 i Mistral 7B kalkulator poniżej używa oficjalnych wartości konfiguracji, więc możesz zobaczyć sumę dla swojej długości kontekstu i dla rozważanego planu.
Dla pozostałych modeli z tabeli kalkulator nie ma ustawień wstępnych, ponieważ potrzebuje z pliku konfiguracyjnego każdego modelu liczby warstw, liczby głowic KV i wymiaru głowicy. Możesz wpisać je ręcznie jako własny model.
Wypróbuj: Local LLM Memory Estimator
Oszacowanie
- Wagi modelu
- 4.84 GiB
- KV cache
- 0.56 GiB
- Rezerwa
- 1.00 GiB
- Suma
- 6.41 GiB (6.88 GB)
- Najmniejszy popularny rozmiar pamięci, który to pomieści
- 8 GiB
To jest oszacowanie. Nie obejmuje buforów obliczeniowych środowiska uruchomieniowego i zakłada, że każda warstwa ma ten sam kształt KV. Zanim wybierzesz plan, zmierz prawdziwe uruchomienie.
Dane modelu sprawdzono: 2026-10-26.
Źródła: Ollama library · Konfiguracja modelu (config.json) · Ollama FAQ
Wszystko działa w Twojej przeglądarce. Nic nie jest przesyłane.
Wybór
- Zacznij od możliwości, której potrzebujesz, potem wybierz najmniejszy model z jej etykietą i zmierz pamięć oraz szybkość na testowym serwerze, zanim zdecydujesz się na plan.
- Porównaj okno kontekstu z tabeli ze swoim zastosowaniem: oba modele embedding mają 2K, a mistral:7b i qwen2.5-coder:7b mają 32K.
- Kilka możliwości może być w jednym modelu. Qwen3 ma tools i thinking, a Qwen3-VL dodaje vision.
- Biblioteka często dodaje nowe modele. Traktuj tę tabelę jako stan na dzień podany wyżej.
Źródła
Czytaj dalej
- Instalacja Ollama na VPS i utrzymanie jej w ruchu: instalacja, usługa systemd, ustawienia i aktualizacjeInstalacja Ollama na VPS z Linuksem i utrzymanie jej w ruchu: polecenie instalacji, usługa systemd, zmienne środowiskowe, przechowywanie modeli i aktualizacje, na podstawie oficjalnej dokumentacji.
- Ile pamięci potrzebuje lokalny LLM na VPS? Plik modelu plus pamięć podręczna KVPlik modelu plus pamięć podręczna KV: co biblioteka Ollama, FAQ Ollama i oficjalne konfiguracje modeli mówią o pamięci potrzebnej lokalnemu LLM na VPS.
- AI na własnym VPS: ile pamięci zaplanować i czego nie wystawiać do internetuPlanujesz uruchomić Ollama lub Dify na VPS? Co oficjalna dokumentacja mówi o pamięci, pracy wyłącznie na CPU i portach, które trzeba zostawić zamknięte.
- Czy boty AI przestrzegają robots.txt? Cloudflare zaczął to mierzyć, a ty możesz sprawdzić własne logiCloudflare ocenia teraz, czy zweryfikowane boty (Verified bots) przestrzegają robots.txt i HTTP 429. Co ogłosił i jak sprawdzić własne logi oraz robots.txt.