~/ / Yapay zeka makaleleri / VPS'te yerel LLM / Pahalı bir bilgisayar olmadan yerel LLM başlatın: VPS kullanımı için yeni başlayanlara rehber
Pahalı bir bilgisayar olmadan yerel LLM başlatın: VPS kullanımı için yeni başlayanlara rehber
Yerel bir dil modelini denemek için güçlü bir bilgisayar satın almanız gerekmez. VPS adı verilen bir sunucu kiralayabilir, modeli oraya kurabilir ve herhangi bir cihazın tarayıcısından onunla konuşabilirsiniz. Bu rehber sizi hiçbir şeyden çalışan, korumalı bir sohbet ekranına altı adımda götürür. Yol boyunca bu sitenin araçlarını kullanır ve GPU'suz bir VPS'nin neyi vaat edip neyi edemeyeceğini açıkça söyler.
Yayın: · 4 dk okuma · Bilgiler, 2026-10-26 tarihinde resmî belgelere ve VPS hizmetlerinin resmî sayfalarına göre kontrol edildi. Planlar, fiyatlar ve varsayılan ayarlar değişir; ödeme yapmadan önce doğrulayın.
Neler bekleyebilirsiniz, neler bekleyemezsiniz
VPS, bir veri merkezinde kiraladığınız bilgisayardır. Burada yerel LLM, internet üzerinden çağırdığınız bir hizmet yerine, bu bilgisayarda çalışan bir model anlamına gelir. Sohbetleriniz kontrol ettiğiniz bir sunucuda kalır.
VPS, güçlü bir ekran kartına sahip bir bilgisayarın yerini tutmaz ve bu rehber öyle bir iddiada bulunmaz. Aşağıda doğrulayabildiklerimiz ve doğrulayamadıklarımız var.
| Soru | Bulduklarımız |
|---|---|
| VPS planlarında GPU var mı? | Kontrol ettiğimiz altı VPS sayfasının hiçbirinde GPU'lu bir plan listelenmiyor. ConoHa ve XServer sayfaları ayrı GPU hizmetlerine yönlendiriyor. |
| Peki model nerede çalışıyor? | Sunucunun belleğinde, CPU üzerinde. Ollama SSS'si, bir model tamamen sistem belleğine yüklendiğinde ollama ps çıktısında 100% CPU göründüğünü söylüyor. |
| Ne kadar hızlı? | Bilmiyoruz. Kontrol ettiğimiz belgeler yalnızca CPU ile çalışma için hız değerleri vermiyor ve biz de hiçbir ölçüm yapmadık. Küçük bir modelle başlayın ve deneyin. |
| Çalışıp çalışmayacağını ne belirler? | Bellek. Sunucunun belleğine sığmayan bir model iyi çalışmaz. 1. Adım bunu nasıl tahmin edeceğinizi gösterir. |
Sohbeti yalnızca ara sıra kullanıyorsanız, internet üzerinden çağırdığınız ücretli bir yapay zekâ hizmeti, ay boyunca çalışan bir sunucudan daha ucuz olabilir. 3. Adım, kendi rakamlarınızla karşılaştırabilmeniz için bir hesaplayıcı içerir.
1. Adım: ihtiyacınız olan belleği tahmin edin
Bir model; dosyası için, konuşmanın uzunluğuyla büyüyen önbellek için ve işletim sistemi için belleğe ihtiyaç duyar. Tablo, 4,096 token bağlam uzunluğunda, aynı anda tek istekle ve sistem için 1 GiB ayrılmış olarak altı model için tahminimizi gösteriyor. Tahminler Ollama kütüphanesindeki boyutlardan ve resmî model yapılandırmalarından hesaplanmıştır; dolayısıyla ölçüm değil, tahmindir.
| Model | Tahmini toplam (GiB) | En küçük yaygın bellek boyutu (GiB) |
|---|---|---|
| Qwen3 0.6B | 1.92 | 2 |
| Qwen3 1.7B | 2.74 | 4 |
| Qwen3 4B | 3.89 | 4 |
| Qwen3 8B | 6.41 | 8 |
| Qwen3 14B | 10.29 | 12 |
| Mistral 7B (v0.3) | 5.60 | 8 |
Deneyin: Local LLM Memory Estimator
Tahmin
- Model ağırlıkları
- 4.84 GiB
- KV önbelleği
- 0.56 GiB
- Ayrılan pay
- 1.00 GiB
- Toplam
- 6.41 GiB (6.88 GB)
- Toplamı karşılayan en küçük yaygın bellek boyutu
- 8 GiB
Bu bir tahmindir. Çalışma zamanının hesaplama arabelleklerini içermez ve her katmanın aynı KV yapısına sahip olduğunu varsayar. Bir plan seçmeden önce gerçek bir çalıştırmayı ölçün.
Model verileri 2026-10-26 tarihinde kontrol edildi.
Kaynaklar: Ollama library · Model yapılandırması (config.json) · Ollama FAQ
Her şey tarayıcınızda çalışır. Hiçbir şey yüklenmez.
2. Adım: bir model seçin
Ollama kütüphanesi her modeli yapabildikleriyle etiketler. tools etiketi taşıyan bir model, sizin tanımladığınız işlevleri çağırabilir; thinking, akıl yürütmesini yanıttan ayrı gösterir; vision görüntü kabul eder; embedding ise metni arama için vektörlere dönüştürür. İlk sohbet için bunların hiçbirine ihtiyacınız yok, bu yüzden önce belleğe göre seçin.
| Etiket (tag) | Labels | İndirme boyutu | Planlanacak bellek sınıfı |
|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 4 GiB |
| llama3.2:3b | tools | 2.0 GB | burada tahmin edilmedi |
| gemma3:4b | vision | 3.4 GB | burada tahmin edilmedi |
| mistral:7b | tools | 4.4 GB | 8 GiB |
İndirme boyutu, bir modelin ihtiyaç duyduğu en az bellektir. Tahmini olmayan modeller hesaplayıcının hazır ayarlarında yoktur, çünkü model yapılandırmasından katman ve head boyutlarına ihtiyaç duyar; bunları özel model olarak elle girebilirsiniz.
3. Adım: bir VPS seçin
Önce belleğe, sonra model dosyaları için diske, sonra CPU'ya bakın. Disk önemlidir, çünkü tek bir model dosyası birkaç gigabayttır. Ardından hizmetin kurulumun ne kadarını hazırladığına bakın. Bu rehberin sonundaki altı hizmetten ConoHa VPS, KAGOYA CLOUD VPS ve XServer VPS sayfaları Dify'dan söz ediyor; ConoHa VPS sayfası ayrıca başlangıç betikleri arasında n8n ve Claude Code'u da listeliyor. Altısının hiçbiri Ollama gibi bir model sunucusu listelemiyor; bu yüzden onu 4. Adım'da kendiniz kurarsınız.
Bu sayfanın sonundaki bölüm, altı hizmeti resmî sayfalarından karşılaştırır. Burada ise bir sunucuyu, internet üzerinden çağırdığınız bir yapay zekâ hizmetiyle karşılaştırabilirsiniz.
Deneyin: LLM API Cost Calculator
Tahmini maliyet
Maliyeti görmek için fiyatları ve token sayılarını girin.
Resmi fiyat sayfaları
Bu yalnızca girdiğiniz sayıları çarpar. Sağlayıcının fiyatlarını, indirimleri, önbelleğe almayı, toplu iş fiyatlarını, kademeli fiyatlandırmayı veya vergiyi bilmez.
Bir istemin girdi tokenlarını bulmak için Token Counter'ı kullanın.
4. Adım: Ollama'yı kurun
Bunlar, resmî Ollama belgelerindeki Linux komutlarıdır. Önemli bir sunucuda çalıştırmadan önce betiği okuyun.
| Adım | Komut |
|---|---|
| Kur | curl -fsSL https://ollama.com/install.sh | sh |
| Çalıştığını kontrol et | ollama -v |
| Kütüphaneden bir model çalıştır | ollama run qwen3:4b |
Ollama'yı açılışta başlatmak ve çalışır tutmak için belgeler bir systemd hizmetini anlatır. Tüm adımlar, ayarlar ve güncellemeler, yazının sonuna yakın listelenen ayrıntılı makalelerdedir.
5. Adım: tarayıcınızda sohbet edin
Bir modeli denemek için terminalde yazmak yeterlidir. Günlük kullanım için Open WebUI size tarayıcıda bir sohbet ekranı sunar. Hızlı başlangıcı onu tek komutla çalıştırır ve http://localhost:3000 adresinde sunar. your-secret-key yerine openssl rand -hex 32 ile ürettiğiniz bir değeri yazın.
| Adım | Komut |
|---|---|
| Open WebUI'yi başlat | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
- Oluşturduğunuz ilk hesap yönetici hesabıdır ve yönetici hesabı oluştuktan sonra kayıt kendiliğinden kapanır. Hemen oluşturun.
- Rehber, Open WebUI'yi Ollama'ya bağlamanın iki yolunu gösterir; ayrıntılı makale ikisini de açıklar.
6. Adım: özel tutun
Ollama varsayılan olarak 127.0.0.1 üzerinde 11434 portunu dinler; bu en güvenli ayardır ve belgeleri kendi başına bir kimlik doğrulamasından söz etmez. Belgelerden bir ifade değil, bizim önerimiz: bu portu internete açmayın. Önüne parola ve HTTPS ile nginx koyun ve yalnızca kullandığınız adreslere izin veren bir güvenlik duvarı kullanın.
- Gizli anahtarı ve parolaları commit ettiğiniz hiçbir şeyin içinde bırakmayın.
- Ollama'yı ve Open WebUI'yi arada bir güncelleyin ve bunu yaparken Open WebUI veri birimini (volume) koruyun.
Daha ayrıntılı
- 1Bir VPS'te yerel bir LLM ne kadar belleğe ihtiyaç duyar? Model dosyası artı KV önbelleğiModel dosyası artı KV önbelleği: Ollama kütüphanesi, Ollama SSS'si ve resmî model yapılandırmaları, bir VPS'te yerel bir LLM'in ihtiyaç duyduğu bellek hakkında ne diyor.
- 2Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığıTools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.
- 3Ollama'yı VPS'e kurmak ve çalışır tutmak: kurulum, systemd servisi, ayarlar ve güncellemelerOllama'yı bir Linux VPS'e kurun ve çalışır tutun: kurulum komutu, systemd servisi, ortam değişkenleri, model depolama ve güncellemeler, resmî belgelerden.
- 4VPS üzerinde Open WebUI: Docker ile çalıştırın ve Ollama'ya bağlayınOpen WebUI'yi Docker ile çalıştırıp kendi sunucunuzda Ollama'ya bağlayın: komutlar, ilk hesap, iki bağlantı türü ve güncelleme.
- 5Ollama'nın önüne nginx koyun: temel kimlik doğrulama, HTTPS ve akış ayarlarıOllama'ya dışarıdan güvenle erişin: proxy olarak nginx, temel kimlik doğrulama, HTTPS, akış ve zaman aşımı ayarları ile bir güvenlik duvarı kuralı; resmî belgelerden.
- 6Yapay zekâyı kendi VPS'inizde çalıştırmak: ne kadar bellek planlamalı, nereleri dışarıya açmamalıVPS üzerinde Ollama ya da Dify çalıştırmayı mı düşünüyorsunuz? Resmî belgelerin bellek, yalnızca CPU ile çıkarım ve kapalı tutulacak portlar hakkında söyledikleri.
Kaynaklar
Sırada ne okunmalı
- Ollama'nın önüne nginx koyun: temel kimlik doğrulama, HTTPS ve akış ayarlarıOllama'ya dışarıdan güvenle erişin: proxy olarak nginx, temel kimlik doğrulama, HTTPS, akış ve zaman aşımı ayarları ile bir güvenlik duvarı kuralı; resmî belgelerden.
- VPS üzerinde Open WebUI: Docker ile çalıştırın ve Ollama'ya bağlayınOpen WebUI'yi Docker ile çalıştırıp kendi sunucunuzda Ollama'ya bağlayın: komutlar, ilk hesap, iki bağlantı türü ve güncelleme.
- Yerel bir modeli kodunuzdan çağırmak: Ollama'da yapılandırılmış çıktılar ve OpenAI uyumlu APIYerel bir modelin çıktısını JSON Schema ile sınırlayın ve Ollama'yı OpenAI tarzı istemcilerden çağırın: resmî belgeler ne diyor ve nelerin desteklenmediği.
- Yerel bir model neler yapabilir? Ollama'da tools, thinking, vision ve embedding ile bir VPS'e neyin sığdığıTools, thinking, vision, embedding: Ollama kütüphanesindeki etiketlerin anlamı, hangi modellerin bunları taşıdığı ve indirmelerin ne kadar büyük olduğu.