~/ / Yapay zeka makaleleri / VPS'te yerel LLM / Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığı

Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığı

Yerel bir model bir sohbet kutusundan fazlasıdır. Ollama kütüphanesi modelleri yapabildikleri şeylerle etiketler ve belgeler bunların her birini tanımlar: araçları çağırmak, akıl yürütmesini göstermek, görüntüleri okumak ve arama için metni vektörlere dönüştürmek. Bu makale her etiketin ne anlama geldiğini açıklıyor, on modeli etiketleri ve indirme boyutlarıyla listeliyor ve yapmak istediğiniz şeyi sunucunuzun belleğiyle nasıl eşleştireceğinizi gösteriyor.

Yayın: 2026-10-26 · 4 dk okuma · Etiketler, boyutlar ve bağlam pencereleri 2026-10-26 tarihinde Ollama kütüphanesi ve belgeleriyle karşılaştırılarak kontrol edildi. Kütüphane sık değişir; bu yüzden kullanmayı planladığınız tag'in sayfasını kontrol edin.

Dört etiket

Ollama kütüphanesi her modeli desteklediği yeteneklerle işaretler. Bir sunucuda geliştireceğiniz şeyler açısından bunlardan dördü önemlidir. Belgeler bunları şöyle tanımlıyor.

Etiket	Belgelerin söylediği	Nasıl kullanılır
tools	Araç çağırma (tool calling), diğer adıyla işlev çağırma (function calling), bir modelin araçları çağırmasına ve sonuçlarını yanıtlarına katmasına olanak tanır. Tek bir araç çağrısını, paralel araç çağrılarını ve çok turlu bir ajan döngüsünü destekler.	Kullanılabilir araçları /api/chat'e gönderdiğiniz isteğin tools alanında listelersiniz. Model bir aracı çağırdığında siz onu çalıştırır ve çıktıyı tool rolüyle bir mesaj olarak geri gönderirsiniz.
thinking	Thinking destekleyen modeller akıl yürütmelerini nihai yanıtlarından ayrı olarak verir; böylece modelin adımlarını denetleyebilir ya da bu izi gizleyebilirsiniz.	İstekte think parametresini ayarlarsınız. Akıl yürütme message.thinking içinde, yanıt ise message.content içinde gelir.
vision	Vision modelleri metnin yanı sıra görüntüleri de kabul eder; böylece model gördüğünü betimleyebilir, sınıflandırabilir ve onunla ilgili soruları yanıtlayabilir.	Mesajda bir images dizisi iletirsiniz. REST API, base64 ile kodlanmış görüntü verisi bekler.
embedding	Embedding'ler, bir vektör veritabanında saklayabileceğiniz, kosinüs benzerliğiyle arayabileceğiniz ya da RAG hatlarında kullanabileceğiniz sayısal vektörlerdir.	/api/embed'i çağırırsınız. Belgeler çoğu anlamsal arama için kosinüs benzerliğini, ayrıca dizinleme ve sorgulama için aynı embedding modelini önerir.

On model ve etiketleri

Bu tablo, Ollama kütüphanesinin her model ailesi için gösterdiği etiketleri; bir tag'i, o tag'in tag listesindeki satırında gösterilen boyutu ve bağlam penceresini birlikte listeler. Boyut bir indirme boyutudur; yani modelin ihtiyaç duyduğu en az bellektir, planlamanız gereken miktar değildir.

Tag	Etiketler	Download size	Context window	Kütüphanenin onu tanımlayışı
qwen3:4b	tools, thinking	2.5 GB	256K	Qwen3, Qwen serisindeki büyük dil modellerinin en yeni nesli
llama3.2:3b	tools	2.0 GB	128K	Meta'nın Llama 3.2'si 1B ve 3B modelleriyle küçülüyor
gemma3:4b	vision	3.4 GB	128K	Tek bir GPU üzerinde çalışan en yetenekli model
qwen3-vl:4b	vision, tools, thinking	3.3 GB	256K	Qwen ailesinin bugüne kadarki en güçlü görsel-dil modeli
deepseek-r1:7b	tools, thinking	4.7 GB	128K	Açık akıl yürütme modellerinden oluşan bir aile
qwen2.5-coder:7b	tools	4.7 GB	32K	Koda özel Qwen modellerinin en yeni serisi
mistral:7b	tools	4.4 GB	32K	Mistral AI'ın yayımladığı 7B model, 0.3 sürümüne güncellendi
gpt-oss:20b	tools, thinking	14 GB	128K	OpenAI'ın akıl yürütme ve ajan görevleri için açık ağırlıklı modelleri
nomic-embed-text	embedding	274 MB	2K	Geniş bir token bağlam penceresine sahip açık bir embedding modeli
embeddinggemma	embedding	622 MB	2K	Google'dan 300M parametreli bir embedding modeli

Etiketler model ailesine aittir ve bir ailenin birkaç boyutu vardır. İndirmeden önce girdi türlerini ve boyutunu görmek için kullanmayı planladığınız tam tag'in sayfasını açın.

Bir yeteneği bir görevle eşleştirmek

Belgeler her yeteneğin kullanım alanlarını belirtir. Aşağıdakiler, bunların kendi çalıştırdığınız bir sunucu için ne anlama geldiğine dair bizim yorumumuzdur; kalite hakkında bir iddia değildir:

Tools: kendi sisteminizde bir şeye bakabilen ya da bir eylemi tetikleyebilen bir asistan; çünkü model bir araç ister ve sizin kodunuz onu çalıştırır. Gönderdiğiniz araç tanımının API'nin biçimine uyması gerekir; bunu Tool Definition Checker ile kontrol edebilirsiniz.
Thinking: modelin akıl yürütmesini ayrı olarak görmek ya da kaydetmek istediğiniz yanıtlar, örneğin bir prompt'u test ederken. Akıl yürütme yanıttan önce gelir; bu yüzden bir yanıt daha fazla token tüketir.
Vision: metnin yanı sıra görüntü kabul eden bir modelle bir görüntüyü betimlemek ya da sınıflandırmak veya onunla ilgili bir soruyu yanıtlamak.
Embedding: anlama göre arama ve RAG için bilgi getirme. Tablodaki iki embedding modeli küçük indirmelerdir, 274 MB ve 622 MB; bu, bir sohbet modelinden çok daha azdır.

Bir VPS'e neler sığar

Neyi çalıştırabileceğinize bellek karar verir. Yukarıdaki indirme boyutları bir alt sınırdır ve bağlam uzunluğu bunun üzerine bir KV cache ekler. Aşağıdaki hesaplayıcı, Qwen3 ve Mistral 7B modelleri için resmi yapılandırma değerlerini kullanır; böylece kendi bağlam uzunluğunuz ve düşündüğünüz plan için toplamı görebilirsiniz.

Tablodaki diğer modeller için hesaplayıcıda hazır bir ayar yoktur, çünkü her modelin yapılandırma dosyasındaki katman sayısına, KV head sayısına ve head boyutuna ihtiyaç duyar. Bunları özel bir model olarak kendiniz girebilirsiniz.

Deneyin: Local LLM Memory Estimator

Model

Ollama etiketi qwen3:8b, nicemleme Q4_K_M, indirme boyutu 5.2 GB.

Dosya boyutu (GB)Katman sayısıKV head sayısıHead boyutu

Bağlam uzunluğu (token)Paralel istek sayısıKV önbellek türüOS ve diğer servisler için pay (GiB)Planın belleği (GiB, isteğe bağlı)

Tahmin

Model ağırlıkları: 4.84 GiB
KV önbelleği: 0.56 GiB
Ayrılan pay: 1.00 GiB
Toplam: 6.41 GiB (6.88 GB)
Toplamı karşılayan en küçük yaygın bellek boyutu: 8 GiB

Bu bir tahmindir. Çalışma zamanının hesaplama arabelleklerini içermez ve her katmanın aynı KV yapısına sahip olduğunu varsayar. Bir plan seçmeden önce gerçek bir çalıştırmayı ölçün.

Model verileri 2026-10-26 tarihinde kontrol edildi.

Kaynaklar: Ollama library · Model yapılandırması (config.json) · Ollama FAQ

Her şey tarayıcınızda çalışır. Hiçbir şey yüklenmez.

Seçim yapmak

İhtiyacınız olan yetenekten başlayın, o etiketi taşıyan en küçük modeli seçin ve bir plana bağlanmadan önce belleği ve hızı bir test sunucusunda ölçün.
Tablodaki bağlam penceresini kullanımınızla karşılaştırın: iki embedding modeli 2K, mistral:7b ve qwen2.5-coder:7b ise 32K gösteriyor.
Birden çok yetenek tek bir modelde bulunabilir. Qwen3 tools ve thinking taşır, Qwen3-VL ise buna vision ekler.
Kütüphane sık sık yeni modeller listeler. Bu tabloyu yukarıdaki tarihin bir anlık görüntüsü olarak değerlendirin.