~/ / Yerel LLM'i kendi sunucunuzda çalıştırın
Ollama'yı kendi bilgisayarınızda veya bir VPS'te çalıştırmak için, gereken sırayla araçlar. Bir modelin ihtiyaç duyduğu belleği tahmin edin, sunucuyu systemd ile çalışır durumda tutun, nginx arkasında güvenle yayınlayın ve API'sini çağırın. Bir şey çalışmadığında yanıtlarını, modelin ayrıntılarını ve sunucu günlüğünü okuyun.
Ollama'nın bellekte neyi tuttuğunu, orada ne kadar kaldığını ve hangi ayarların bunu değiştirdiğini görün: ollama ps, keep_alive ve sınırlar, resmî FAQ'ye göre.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Dify'ı kendi VPS'inizde çalıştırın ve modeli Ollama'dan alın: kurulum, eklenti alanları, Docker adres sorunu ve embedding'ler, resmî belgelere dayanarak.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Güçlü bir bilgisayarınız yok mu? Bir VPS kiralayın ve küçük bir yerel LLM'yi tarayıcınızdan çalıştırın: bellek tahmininden korumalı sohbet ekranına altı adım, sınırlar dürüstçe belirtilerek.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator, LLM API Cost Calculator
Open WebUI'yi Docker ile çalıştırıp kendi sunucunuzda Ollama'ya bağlayın: komutlar, ilk hesap, iki bağlantı türü ve güncelleme.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator
Yerel bir modelin çıktısını JSON Schema ile sınırlayın ve Ollama'yı OpenAI tarzı istemcilerden çağırın: resmî belgeler ne diyor ve nelerin desteklenmediği.
Yayın: Kullanabileceğiniz araçlar: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Tools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.
Yayın: Kullanabileceğiniz araçlar: Local LLM Memory Estimator