~/ / Yapay zeka makaleleri / VPS'te yerel LLM
Dil modellerini kendi sunucunuzda çalıştırmaya dair yazılar: gereken bellek, kurulum, ayarlar ve her modelin neler yapabildiği. Yalnızca Ollama'nın ve model geliştiricilerinin resmî belgelerine dayanarak yazıldı.
Open WebUI'yi Docker ile çalıştırıp kendi sunucunuzda Ollama'ya bağlayın: komutlar, ilk hesap, iki bağlantı türü ve güncelleme.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Yerel bir modelin çıktısını JSON Schema ile sınırlayın ve Ollama'yı OpenAI tarzı istemcilerden çağırın: resmî belgeler ne diyor ve nelerin desteklenmediği.
Yayın: Kullanabileceğiniz araçlar: JSON Schema Validator, LLM JSON Repair
Tools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Ollama'yı bir Linux VPS'e kurun ve çalışır tutun: kurulum komutu, systemd servisi, ortam değişkenleri, model depolama ve güncellemeler, resmî belgelerden.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Model dosyası artı KV önbelleği: Ollama kütüphanesi, Ollama SSS'si ve resmî model yapılandırmaları, bir VPS'te yerel bir LLM'in ihtiyaç duyduğu bellek hakkında ne diyor.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
VPS üzerinde Ollama ya da Dify çalıştırmayı mı düşünüyorsunuz? Resmî belgelerin bellek, yalnızca CPU ile çıkarım ve kapalı tutulacak portlar hakkında söyledikleri.
Yayın: Kullanabileceğiniz araçlar: LLM API Cost Calculator