~/ / Artikel AI / LLM lokal di VPS / Menjalankan LLM lokal tanpa PC mahal: panduan pemula memakai VPS
Menjalankan LLM lokal tanpa PC mahal: panduan pemula memakai VPS
Anda tidak perlu membeli komputer bertenaga untuk mencoba model bahasa lokal. Anda bisa menyewa sebuah server, yang disebut VPS, memasang modelnya di sana, lalu mengobrol dengannya dari browser di perangkat apa pun. Panduan ini membawa Anda dari nol sampai layar obrolan yang berfungsi dan terlindungi dalam enam langkah. Di sepanjang jalan, panduan ini memakai alat-alat di situs ini, dan menyatakan dengan jelas apa yang bisa dan tidak bisa dijanjikan oleh VPS tanpa GPU.
Terbit: · 5 menit baca · Fakta diperiksa terhadap dokumentasi resmi dan halaman resmi layanan VPS pada 2026-10-26. Paket, harga, dan pengaturan bawaan bisa berubah, jadi pastikan lagi sebelum Anda membayar.
Apa yang bisa diharapkan, dan apa yang tidak
VPS adalah komputer di pusat data yang Anda sewa. LLM lokal di sini berarti model yang berjalan di komputer tersebut, bukan layanan yang Anda panggil lewat internet. Obrolan Anda tetap berada di server yang Anda kendalikan.
VPS bukan pengganti PC dengan kartu grafis yang kuat, dan panduan ini tidak mengklaim demikian. Berikut ini yang bisa kami pastikan, dan yang tidak bisa kami pastikan.
| Pertanyaan | Yang kami temukan |
|---|---|
| Apakah paket VPS punya GPU? | Tidak satu pun dari enam halaman VPS yang kami periksa mencantumkan paket GPU. Halaman ConoHa dan XServer mengarah ke layanan GPU yang terpisah. |
| Lalu di mana modelnya berjalan? | Di memori server, pada CPU. FAQ Ollama menyebutkan bahwa ollama ps menampilkan 100% CPU ketika sebuah model dimuat sepenuhnya di memori sistem. |
| Seberapa cepat? | Kami tidak tahu. Dokumen yang kami periksa tidak memberikan angka kecepatan untuk pengoperasian hanya dengan CPU, dan kami tidak mengukurnya. Mulailah dengan model kecil lalu cobalah. |
| Apa yang menentukan apakah model bisa berjalan sama sekali? | Memori. Model yang tidak muat di memori server tidak akan berjalan dengan baik. Langkah 1 menunjukkan cara memperkirakannya. |
Jika Anda hanya sesekali mengobrol, layanan AI berbayar yang Anda panggil lewat internet mungkin lebih murah daripada server yang menyala sebulan penuh. Langkah 3 menyertakan kalkulator agar Anda bisa membandingkannya dengan angka Anda sendiri.
Langkah 1: perkirakan memori yang Anda butuhkan
Sebuah model membutuhkan memori untuk berkasnya, untuk cache yang bertambah seiring panjang percakapan, dan untuk sistem operasi. Tabel ini menunjukkan perkiraan kami untuk enam model pada panjang konteks 4,096 token, satu permintaan dalam satu waktu, dengan 1 GiB dicadangkan untuk sistem. Perkiraan ini dihitung dari ukuran di pustaka Ollama dan konfigurasi resmi model, jadi ini adalah perkiraan dan bukan hasil pengukuran.
| Model | Perkiraan total (GiB) | Ukuran memori umum terkecil (GiB) |
|---|---|---|
| Qwen3 0.6B | 1.92 | 2 |
| Qwen3 1.7B | 2.74 | 4 |
| Qwen3 4B | 3.89 | 4 |
| Qwen3 8B | 6.41 | 8 |
| Qwen3 14B | 10.29 | 12 |
| Mistral 7B (v0.3) | 5.60 | 8 |
Coba sekarang: Local LLM Memory Estimator
Perkiraan
- Bobot model
- 4.84 GiB
- KV cache
- 0.56 GiB
- Cadangan
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Ukuran memori umum terkecil yang cukup
- 8 GiB
Ini hanya perkiraan. Buffer komputasi milik runtime tidak ikut dihitung, dan dianggap setiap layer memiliki bentuk KV yang sama. Ukur proses yang sungguh dijalankan sebelum Anda memilih paket.
Data model diperiksa pada 2026-10-26.
Sumber: Ollama library · Konfigurasi model (config.json) · Ollama FAQ
Semuanya berjalan di browser Anda. Tidak ada yang diunggah.
Langkah 2: pilih model
Pustaka Ollama memberi label pada setiap model sesuai kemampuannya. Model dengan label tools dapat memanggil fungsi yang Anda definisikan, thinking menampilkan proses penalarannya secara terpisah dari jawaban, vision menerima gambar, dan embedding mengubah teks menjadi vektor untuk pencarian. Untuk obrolan pertama, Anda tidak membutuhkan satu pun dari semuanya, jadi pilih berdasarkan memori terlebih dahulu.
| Tag | Label | Ukuran unduhan | Kelas memori yang perlu direncanakan |
|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 4 GiB |
| llama3.2:3b | tools | 2.0 GB | tidak diperkirakan di sini |
| gemma3:4b | vision | 3.4 GB | tidak diperkirakan di sini |
| mistral:7b | tools | 4.4 GB | 8 GiB |
Ukuran unduhan adalah memori paling sedikit yang dibutuhkan sebuah model. Model tanpa perkiraan tidak ada di preset kalkulator, karena kalkulator membutuhkan jumlah layer dan ukuran head dari konfigurasi modelnya; Anda dapat memasukkannya sebagai model kustom.
Langkah 3: pilih VPS
Lihat memori terlebih dahulu, lalu disk untuk berkas model, kemudian CPU. Disk itu penting karena satu berkas model berukuran beberapa gigabita. Setelah itu lihat seberapa banyak pengaturan yang sudah disiapkan oleh layanannya. Dari enam layanan di bagian akhir panduan ini, halaman ConoHa VPS, KAGOYA CLOUD VPS, dan XServer VPS menyebutkan Dify, dan halaman ConoHa VPS juga mencantumkan n8n dan Claude Code di antara skrip startup-nya. Tidak satu pun dari keenamnya mencantumkan server model seperti Ollama, jadi Anda memasangnya sendiri di Langkah 4.
Bagian di akhir halaman ini membandingkan keenam layanan tersebut berdasarkan halaman resminya. Di sini Anda bisa membandingkan sebuah server dengan layanan AI yang Anda panggil lewat internet.
Coba sekarang: LLM API Cost Calculator
Perkiraan biaya
Masukkan harga dan jumlah token untuk melihat biayanya.
Halaman harga resmi
Ini hanya mengalikan angka yang Anda masukkan. Alat ini tidak mengetahui harga vendor, diskon, caching, tarif batch, harga bertingkat, atau pajak.
Untuk mengetahui token input sebuah prompt, gunakan Token Counter.
Langkah 4: pasang Ollama
Berikut perintah dari dokumentasi resmi Ollama untuk Linux. Bacalah skrip sebelum Anda menjalankannya di server yang penting.
| Langkah | Perintah |
|---|---|
| Pasang | curl -fsSL https://ollama.com/install.sh | sh |
| Pastikan sudah berjalan | ollama -v |
| Jalankan model dari pustaka | ollama run qwen3:4b |
Agar Ollama menyala saat boot dan terus berjalan, dokumentasinya menjelaskan sebuah layanan systemd. Langkah lengkap, pengaturan, dan pembaruannya ada di artikel terperinci yang tercantum menjelang akhir.
Langkah 5: mengobrol di browser
Mengetik di terminal sudah cukup untuk menguji sebuah model. Untuk pemakaian sehari-hari, Open WebUI menyediakan layar obrolan di browser. Panduan mulai cepatnya menjalankannya dengan satu perintah dan menyajikannya di http://localhost:3000. Ganti your-secret-key dengan nilai yang Anda buat dengan openssl rand -hex 32.
| Langkah | Perintah |
|---|---|
| Jalankan Open WebUI | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
- Akun pertama yang Anda buat menjadi administrator, dan pendaftaran mematikan dirinya sendiri setelah akun admin ada. Buatlah segera.
- Panduan itu menunjukkan dua cara untuk menghubungkan Open WebUI ke Ollama, dan artikel terperinci menjelaskan keduanya.
Langkah 6: jaga agar tetap privat
Secara bawaan, Ollama mendengarkan di 127.0.0.1 port 11434, yang merupakan pengaturan paling aman, dan dokumentasinya tidak menjelaskan autentikasi bawaan. Rekomendasi kami, bukan pernyataan dari dokumen: jangan membuka port itu ke internet. Letakkan nginx di depannya dengan kata sandi dan HTTPS, lalu gunakan firewall yang hanya mengizinkan alamat yang Anda pakai.
- Jangan sertakan kunci rahasia dan kata sandi dalam apa pun yang Anda commit.
- Perbarui Ollama dan Open WebUI dari waktu ke waktu, dan pertahankan volume data Open WebUI saat melakukannya.
Lebih mendalam
- 1Berapa memori yang dibutuhkan LLM lokal di VPS? File model plus cache KVFile model plus cache KV: apa kata pustaka Ollama, FAQ Ollama, dan konfigurasi model resmi tentang memori yang dibutuhkan LLM lokal di VPS.
- 2Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPSTools, thinking, vision, embedding: arti label di pustaka Ollama, model mana yang membawanya, dan seberapa besar unduhannya.
- 3Memasang Ollama di VPS dan menjaganya tetap berjalan: instalasi, layanan systemd, pengaturan, dan pembaruanPasang Ollama di VPS Linux dan jaga tetap berjalan: perintah instalasi, layanan systemd, variabel lingkungan, penyimpanan model, dan pembaruan, dari dokumentasi resmi.
- 4Open WebUI di VPS: jalankan dengan Docker dan hubungkan ke OllamaJalankan Open WebUI dengan Docker dan hubungkan ke Ollama di server Anda sendiri: perintahnya, akun pertama, dua jenis koneksi, dan cara memperbarui.
- 5Pasang nginx di depan Ollama: autentikasi dasar, HTTPS, dan pengaturan streamingMengakses Ollama dari luar dengan aman: nginx sebagai proxy, autentikasi dasar, HTTPS, pengaturan streaming dan timeout, serta aturan firewall, berdasarkan dokumentasi resmi.
- 6Menjalankan AI di VPS sendiri: berapa memori yang perlu direncanakan, dan apa yang tidak boleh dibuka ke publikBerencana menjalankan Ollama atau Dify di VPS? Apa kata dokumentasi resmi tentang memori, inferensi hanya dengan CPU, dan port yang harus tetap tertutup.
Sumber
Baca selanjutnya
- Pasang nginx di depan Ollama: autentikasi dasar, HTTPS, dan pengaturan streamingMengakses Ollama dari luar dengan aman: nginx sebagai proxy, autentikasi dasar, HTTPS, pengaturan streaming dan timeout, serta aturan firewall, berdasarkan dokumentasi resmi.
- Open WebUI di VPS: jalankan dengan Docker dan hubungkan ke OllamaJalankan Open WebUI dengan Docker dan hubungkan ke Ollama di server Anda sendiri: perintahnya, akun pertama, dua jenis koneksi, dan cara memperbarui.
- Memanggil model lokal dari kode Anda: structured outputs dan API yang kompatibel dengan OpenAI di OllamaBatasi keluaran model lokal dengan JSON Schema dan panggil Ollama dari klien bergaya OpenAI: apa kata dokumentasi resmi, dan apa saja yang tidak didukung.
- Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPSTools, thinking, vision, embedding: arti label di pustaka Ollama, model mana yang membawanya, dan seberapa besar unduhannya.