~/ / Artikel AI / LLM lokal di VPS / Menjalankan AI di VPS sendiri: berapa memori yang perlu direncanakan, dan apa yang tidak boleh dibuka ke publik
Menjalankan AI di VPS sendiri: berapa memori yang perlu direncanakan, dan apa yang tidak boleh dibuka ke publik
Menjalankan model bahasa atau pembuat aplikasi AI di VPS sewaan memang menarik: biaya bulanan tetap, dan data Anda berada di server yang Anda kendalikan. Namun paket yang Anda pilih menentukan apakah semuanya bisa berjalan sama sekali, dan instalasi bawaan bisa membuat sebuah layanan dapat dijangkau dari internet. Artikel ini merangkum apa yang dikatakan dokumentasi resmi Ollama dan Dify tentang memori, pengoperasian hanya dengan CPU, dan keterpaparan jaringan, sehingga Anda dapat memilih paket sebelum membayar.
Terbit: · 4 menit baca · Diperiksa terhadap dokumentasi resmi pada 2026-10-26. Versi dan nilai bawaan dapat berubah, jadi pastikan di dokumen terbaru sebelum Anda menginstal.
Apa yang harus muat di memori
Ukuran unduhan sebuah model adalah jumlah memori minimum yang dibutuhkannya, bukan jumlah yang sebaiknya Anda rencanakan. Pustaka Ollama mencantumkan ukuran unduhan setiap tag. Misalnya, Llama 3.2 tercantum 1.3 GB untuk tag 1b dan 2.0 GB untuk tag 3b, keduanya dengan jendela konteks 128K.
Selain model itu sendiri, memori bertambah seiring konteks. FAQ Ollama menyatakan bahwa RAM yang dibutuhkan berskala sebesar OLLAMA_NUM_PARALLEL dikalikan OLLAMA_CONTEXT_LENGTH, dan memberi contoh: konteks 2K dengan 4 permintaan paralel menjadi konteks 8K dan membutuhkan memori tambahan. FAQ itu juga menyebutkan bahwa mengkuantisasi cache key-value dengan q8_0 memakai sekitar setengah memori dibandingkan f16, dan q4_0 sekitar seperempatnya.
| Tag model | Ukuran unduhan | Jendela konteks |
|---|---|---|
| llama3.2:1b | 1.3 GB | 128K |
| llama3.2:3b | 2.0 GB | 128K |
- FAQ Ollama menyebut 4096 token sebagai jendela konteks bawaan, dan halaman panjang konteks menyatakan bahwa nilai bawaan bergantung pada VRAM GPU Anda (4k di bawah 24 GiB). Periksa nilai yang benar-benar dipakai instalasi Anda.
- README Ollama yang kami periksa tidak mencantumkan kebutuhan RAM untuk setiap ukuran model. Ukurlah, jangan menebak: muat model dengan panjang konteks yang ingin Anda gunakan, kirim sebuah prompt, dan amati penggunaan memori server.
- Sisakan ruang untuk sistem operasi dan semua layanan lain di server yang sama.
Ukuran unduhan dibaca dari halaman pustaka Ollama pada tanggal di atas. Itu adalah ukuran berkas, bukan penggunaan memori yang diukur.
Tanpa GPU: apa artinya hanya dengan CPU
Sebagian besar paket VPS tidak memiliki GPU, sehingga model berjalan di CPU dan di memori sistem. FAQ Ollama menjelaskan kasus ini: ollama ps menampilkan 100% CPU di kolom PROCESSOR ketika model dimuat seluruhnya di memori sistem, dan nilai bawaan OLLAMA_MAX_LOADED_MODELS adalah 3 untuk inferensi CPU.
Dokumen-dokumen tersebut tidak memberikan angka kecepatan untuk pengoperasian hanya dengan CPU, dan kami tidak mengukurnya. Mulailah dengan model terkecil yang bisa mengerjakan tugas Anda, dan ujilah selama beberapa hari sebelum Anda menandatangani kontrak yang lebih panjang.
Menjalankan Dify di VPS
Dify dapat di-host sendiri dengan Docker Compose. Dokumentasinya mencantumkan persyaratan sistem minimum, yang merupakan batas minimum, bukan rekomendasi:
- CPU: 2 core atau lebih
- RAM: 4 GiB atau lebih
- Linux: Docker 19.03 atau lebih baru dan Docker Compose 2.24.0 atau lebih baru
| Langkah | Yang Anda lakukan |
|---|---|
| 1 | Clone repositori Dify lalu masuk ke direktori dify/docker |
| 2 | Salin .env.example ke .env |
| 3 | Buat token dengan openssl rand -base64 32 dan atur sebagai DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN di .env |
| 4 | Jalankan docker compose up -d |
| 5 | Periksa docker compose ps: kontainer seharusnya menampilkan Up atau healthy |
| 6 | Buka /install di server Anda untuk membuat akun admin, lalu masuk |
Halaman Dify yang kami periksa tidak menyebut Ollama atau model lokal. Jika satu server menjalankan Dify sekaligus model lokal, rencanakan memori untuk keduanya (ini pembacaan kami atas kedua dokumen, bukan angka dari salah satunya).
Apa yang tidak boleh dibuka ke internet
FAQ Ollama menyatakan bahwa Ollama secara bawaan mengikat 127.0.0.1 port 11434 dan bahwa Anda mengubah alamat ikatan itu dengan variabel lingkungan OLLAMA_HOST. Halaman FAQ yang kami periksa tidak menjelaskan autentikasi apa pun untuk server Ollama. Apa yang berikut ini adalah rekomendasi kami, bukan pernyataan dari dokumen:
- Biarkan Ollama pada alamat bawaannya. Jika mesin lain membutuhkannya, jangkau lewat terowongan SSH alih-alih mengubah alamat ikatan.
- Jika Anda memang mengikatnya ke alamat jaringan, batasi port itu di firewall hanya untuk alamat yang Anda gunakan, dan jangan pernah membukanya untuk semua orang.
- Dify disajikan pada alamat server, dan Anda membuat akun admin dari /install. Lakukan ini segera setelah kontainer berjalan, dan pasang HTTPS serta aturan firewall di depannya sebelum Anda membagikan alamatnya.
- Simpan kunci API untuk penyedia model di berkas .env atau penyimpanan rahasia, dan jauhkan dari apa pun yang Anda commit.
Host sendiri atau pakai API?
VPS berbiaya sama setiap bulan, dipakai atau tidak, sedangkan API menagih berdasarkan token yang Anda kirim dan terima. Jika volume Anda rendah, API bisa lebih murah daripada menjaga server tetap menyala. Jika volumenya tinggi dan model kecil sudah cukup, server bisa lebih unggul. Masukkan volume Anda sendiri dan bandingkan.
Coba sendiri: LLM API Cost Calculator
Perkiraan biaya
Masukkan harga dan jumlah token untuk melihat biayanya.
Halaman harga resmi
Ini hanya mengalikan angka yang Anda masukkan. Alat ini tidak mengetahui harga vendor, diskon, caching, tarif batch, harga bertingkat, atau pajak.
Untuk mengetahui token input sebuah prompt, gunakan Token Counter.
Sumber
Baca selanjutnya
- Memanggil model lokal dari kode Anda: structured outputs dan API yang kompatibel dengan OpenAI di OllamaBatasi keluaran model lokal dengan JSON Schema dan panggil Ollama dari klien bergaya OpenAI: apa kata dokumentasi resmi, dan apa saja yang tidak didukung.
- Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPSTools, thinking, vision, embedding: arti label di pustaka Ollama, model mana yang membawanya, dan seberapa besar unduhannya.
- Memasang Ollama di VPS dan menjaganya tetap berjalan: instalasi, layanan systemd, pengaturan, dan pembaruanPasang Ollama di VPS Linux dan jaga tetap berjalan: perintah instalasi, layanan systemd, variabel lingkungan, penyimpanan model, dan pembaruan, dari dokumentasi resmi.
- Berapa memori yang dibutuhkan LLM lokal di VPS? File model plus cache KVFile model plus cache KV: apa kata pustaka Ollama, FAQ Ollama, dan konfigurasi model resmi tentang memori yang dibutuhkan LLM lokal di VPS.