~/ / Yapay zeka makaleleri / VPS'te yerel LLM / Yapay zekâyı kendi VPS'inizde çalıştırmak: ne kadar bellek planlamalı, nereleri dışarıya açmamalı
Yapay zekâyı kendi VPS'inizde çalıştırmak: ne kadar bellek planlamalı, nereleri dışarıya açmamalı
Kiralık bir VPS üzerinde bir dil modeli ya da yapay zekâ uygulaması oluşturucusu çalıştırmak cazip: sabit bir aylık ücret ve verileriniz denetlediğiniz bir sunucuda kalır. Ancak seçtiğiniz plan, bunun çalışıp çalışmayacağını belirler; varsayılan bir kurulum ise bir hizmeti internetten erişilebilir bırakabilir. Bu makale, ödeme yapmadan önce bir plan seçebilmeniz için resmî Ollama ve Dify belgelerinin bellek, yalnızca CPU ile çalışma ve ağa açılma konularında söylediklerini bir araya getirir.
Yayın: · 4 dk okuma · Resmî belgelerle 2026-10-26 tarihinde karşılaştırıldı. Sürümler ve varsayılan değerler değişir; kurulumdan önce güncel belgelerden doğrulayın.
Bellekte nelerin yer alması gerekir
Bir modelin indirme boyutu, ihtiyaç duyduğu en küçük bellek miktarıdır; planlamanız gereken miktar değildir. Ollama kütüphanesi her etiketin indirme boyutunu listeler. Örneğin Llama 3.2, 1b etiketi için 1.3 GB, 3b etiketi için 2.0 GB olarak listelenir; ikisinin de bağlam penceresi 128K'dır.
Modelin üzerine, bellek bağlamla birlikte artar. Ollama SSS'si, gereken RAM'in OLLAMA_NUM_PARALLEL ile OLLAMA_CONTEXT_LENGTH çarpımıyla ölçeklendiğini belirtir ve bir örnek verir: 4 paralel istekle 2K bağlam, 8K bağlama dönüşür ve ek bellek gerektirir. SSS ayrıca anahtar-değer önbelleğini q8_0 ile nicemlemenin f16'ya göre yaklaşık yarı kadar, q4_0 ile nicemlemenin ise yaklaşık dörtte biri kadar bellek kullandığını söyler.
| Model etiketi | İndirme boyutu | Bağlam penceresi |
|---|---|---|
| llama3.2:1b | 1.3 GB | 128K |
| llama3.2:3b | 2.0 GB | 128K |
- Ollama SSS'si varsayılan bağlam penceresi olarak 4096 token verir; bağlam uzunluğu sayfası ise varsayılanın GPU'nuzun VRAM'ine bağlı olduğunu söyler (24 GiB'nin altında 4k). Kurulumunuzun gerçekte kullandığı değeri kontrol edin.
- Baktığımız Ollama README'si, model boyutu başına bir RAM gereksinimi listelemiyor. Tahmin etmek yerine ölçün: modeli kullanmayı düşündüğünüz bağlam uzunluğuyla yükleyin, bir istem gönderin ve sunucunun bellek kullanımını izleyin.
- İşletim sistemi ve aynı sunucudaki diğer tüm hizmetler için yer bırakın.
İndirme boyutları, yukarıdaki tarihte Ollama kütüphane sayfasından okundu. Bunlar dosya boyutlarıdır, ölçülmüş bellek kullanımı değildir.
GPU yok: yalnızca CPU ne demek
Çoğu VPS planında GPU yoktur; bu nedenle model CPU üzerinde ve sistem belleğinde çalışır. Ollama SSS'si bu durumu şöyle anlatır: model tamamen sistem belleğine yüklendiğinde ollama ps, PROCESSOR sütununda 100% CPU gösterir ve CPU çıkarımı için OLLAMA_MAX_LOADED_MODELS varsayılanı 3'tür.
Belgeler yalnızca CPU ile çalışma için hız rakamları vermiyor ve biz de ölçmedik. İşinizi gören en küçük modelle başlayın ve daha uzun bir sözleşmeye girmeden önce birkaç gün deneyin.
Dify'ı bir VPS üzerinde çalıştırmak
Dify, Docker Compose ile kendi sunucunuzda barındırılabilir. Belgeleri, öneri değil asgari olan sistem gereksinimlerini listeler:
- CPU: 2 çekirdek ya da daha fazlası
- RAM: 4 GiB ya da daha fazlası
- Linux: Docker 19.03 veya üzeri ve Docker Compose 2.24.0 veya üzeri
| Adım | Ne yaparsınız |
|---|---|
| 1 | Dify deposunu klonlayın ve dify/docker dizinine geçin |
| 2 | .env.example dosyasını .env olarak kopyalayın |
| 3 | openssl rand -base64 32 ile bir token üretin ve .env içinde DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN olarak ayarlayın |
| 4 | docker compose up -d komutunu çalıştırın |
| 5 | docker compose ps çıktısını kontrol edin: kapsayıcılar Up ya da healthy göstermeli |
| 6 | Yönetici hesabını oluşturmak için sunucunuzda /install adresini açın, ardından giriş yapın |
Baktığımız Dify sayfası Ollama'dan ya da yerel modellerden söz etmiyor. Bir sunucu hem Dify'ı hem de yerel bir modeli çalıştırıyorsa, ikisinin belleğini birlikte planlayın (bu, iki belgeye dair bizim okumamızdır; ikisinden de alınmış bir rakam değildir).
İnternete açılmaması gerekenler
Ollama SSS'si, Ollama'nın varsayılan olarak 127.0.0.1 adresinde 11434 portuna bağlandığını ve bağlanma adresini OLLAMA_HOST ortam değişkeniyle değiştirdiğinizi söyler. Baktığımız SSS sayfası, Ollama sunucusu için herhangi bir kimlik doğrulamadan söz etmiyor. Aşağıdakiler bizim önerimizdir, belgelerden bir ifade değildir:
- Ollama'yı varsayılan adresinde bırakın. Başka bir makinenin ona ihtiyacı varsa, bağlanma adresini değiştirmek yerine bir SSH tüneli üzerinden erişin.
- Yine de bir ağ adresine bağlarsanız, güvenlik duvarında portu yalnızca kullandığınız adreslerle sınırlayın ve onu asla herkese açmayın.
- Dify, sunucu adresinden sunulur ve yönetici hesabını /install üzerinden oluşturursunuz. Bunu kapsayıcılar başlar başlamaz yapın; adresi paylaşmadan önce önüne HTTPS ve bir güvenlik duvarı kuralı koyun.
- Model sağlayıcılarının API anahtarlarını .env dosyasında ya da bir gizli bilgi deposunda tutun; commit ettiğiniz herhangi bir şeyin içine koymayın.
Kendi sunucunuz mu, API mi?
Bir VPS, kullanın ya da kullanmayın her ay aynı ücrete mal olur; bir API ise gönderdiğiniz ve aldığınız token'lar için ücret keser. Hacminiz düşükse API, bir sunucuyu çalışır durumda tutmaktan daha ucuz olabilir. Hacminiz yüksekse ve küçük bir model yetiyorsa sunucu kazanabilir. Kendi hacminizi girin ve karşılaştırın.
Deneyin: LLM API Cost Calculator
Tahmini maliyet
Maliyeti görmek için fiyatları ve token sayılarını girin.
Resmi fiyat sayfaları
Bu yalnızca girdiğiniz sayıları çarpar. Sağlayıcının fiyatlarını, indirimleri, önbelleğe almayı, toplu iş fiyatlarını, kademeli fiyatlandırmayı veya vergiyi bilmez.
Bir istemin girdi tokenlarını bulmak için Token Counter'ı kullanın.
Kaynaklar
Sırada ne okunmalı
- Yerel bir modeli kodunuzdan çağırmak: Ollama'da yapılandırılmış çıktılar ve OpenAI uyumlu APIYerel bir modelin çıktısını JSON Schema ile sınırlayın ve Ollama'yı OpenAI tarzı istemcilerden çağırın: resmî belgeler ne diyor ve nelerin desteklenmediği.
- Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığıTools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.
- Ollama'yı VPS'e kurmak ve çalışır tutmak: kurulum, systemd servisi, ayarlar ve güncellemelerOllama'yı bir Linux VPS'e kurun ve çalışır tutun: kurulum komutu, systemd servisi, ortam değişkenleri, model depolama ve güncellemeler, resmî belgelerden.
- Bir VPS'te yerel bir LLM ne kadar belleğe ihtiyaç duyar? Model dosyası artı KV önbelleğiModel dosyası artı KV önbelleği: Ollama kütüphanesi, Ollama SSS'si ve resmî model yapılandırmaları, bir VPS'te yerel bir LLM'in ihtiyaç duyduğu bellek hakkında ne diyor.