~/ / Artikel AI / LLM lokal di VPS / Memantau memori Ollama di VPS kecil
Memantau memori Ollama di VPS kecil
Di server kecil, memori adalah batasnya, dan Ollama menyimpan model di memori setelah selesai menjawab. Artikel ini menunjukkan cara melihat apa yang sedang dimuat, berapa lama model bertahan, berapa banyak model dan permintaan yang ditangani Ollama sekaligus, serta pengaturan mana yang mengubah pemakaian memori. Semua nilai bawaan di bawah dikutip dari FAQ resmi.
Terbit: · 3 menit baca · Fakta diperiksa terhadap dokumentasi resmi Ollama pada 2026-10-27. Nilai bawaan dapat berubah antarversi, jadi periksa FAQ untuk versi yang Anda jalankan.
Melihat apa yang sedang dimuat
FAQ menyebutkan untuk memakai ollama ps guna melihat model apa saja yang saat ini dimuat ke memori. Kolom PROCESSOR menunjukkan di mana model berada.
| PROCESSOR menampilkan | Arti menurut FAQ |
|---|---|
| 100% GPU | Model dimuat seluruhnya ke GPU. |
| 100% CPU | Model dimuat seluruhnya di memori sistem. |
| 48%/52% CPU/GPU | Model dimuat sebagian ke GPU dan sebagian ke memori sistem. |
Di VPS tanpa GPU, 100% CPU adalah hasil yang wajar: model berada di memori server.
Berapa lama model bertahan di memori
Menurut FAQ, secara bawaan model disimpan di memori selama 5 menit sebelum dibongkar. Anda dapat mengubahnya untuk seluruh server, atau untuk satu permintaan.
| Yang Anda inginkan | Caranya, menurut FAQ |
|---|---|
| Membongkar model sekarang | ollama stop llama3.2 |
| Mempertahankan model tetap dimuat | Kirim keep_alive dengan angka negatif, misalnya -1, dalam permintaan ke /api/generate atau /api/chat. |
| Membongkar tepat setelah jawaban | Kirim keep_alive yang diatur ke 0. |
| Durasi lain | keep_alive juga menerima string durasi seperti 10m atau 24h, atau jumlah detik seperti 3600. |
| Mengatur untuk seluruh server | Atur variabel lingkungan OLLAMA_KEEP_ALIVE saat Anda memulai server. Variabel ini menerima jenis nilai yang sama. keep_alive dalam sebuah permintaan didahulukan daripada variabel ini. |
Pembacaan kami, bukan pernyataan dari dokumen: bila server yang sama juga menjalankan hal lain, seperti Dify atau layar obrolan, model yang tetap dimuat menahan memorinya dari mereka. Waktu yang lebih singkat membebaskan memori lebih cepat, dan permintaan berikutnya harus memuat model lagi. Kami tidak mengukur berapa lama itu memakan waktu.
Beberapa model, beberapa permintaan
FAQ menjelaskan tiga batasan dan satu aturan. Jika model baru tidak muat di memori yang tersedia saat model lain sedang dimuat, permintaan baru diantrekan sampai model itu dapat dimuat, dan model yang menganggur dibongkar untuk memberi ruang.
Estimator di bawah punya kolom untuk permintaan paralel, sehingga Anda dapat melihat pengaruh pengaturan yang lebih tinggi terhadap totalnya.
| Pengaturan | Kata FAQ |
|---|---|
| OLLAMA_MAX_LOADED_MODELS | Jumlah maksimum model yang dapat dimuat bersamaan selama muat di memori yang tersedia. Nilai bawaannya adalah 3 kali jumlah GPU, atau 3 untuk inferensi CPU. |
| OLLAMA_NUM_PARALLEL | Jumlah maksimum permintaan paralel yang diproses setiap model pada saat yang sama. Nilai bawaannya adalah 1. RAM yang dibutuhkan bertambah sebanding dengan OLLAMA_NUM_PARALLEL dikali OLLAMA_CONTEXT_LENGTH. |
| OLLAMA_MAX_QUEUE | Jumlah maksimum permintaan yang diantrekan Ollama saat sibuk sebelum menolak yang lain. Nilai bawaannya adalah 512. Permintaan yang ditolak mendapat error 503. |
Coba sendiri: Local LLM Memory Estimator
Perkiraan
- Bobot model
- 4.84 GiB
- KV cache
- 0.56 GiB
- Cadangan
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Ukuran memori umum terkecil yang cukup
- 8 GiB
Ini hanya perkiraan. Buffer komputasi milik runtime tidak ikut dihitung, dan dianggap setiap layer memiliki bentuk KV yang sama. Ukur proses yang sungguh dijalankan sebelum Anda memilih paket.
Data model diperiksa pada 2026-10-26.
Sumber: Ollama library · Konfigurasi model (config.json) · Ollama FAQ
Semuanya berjalan di browser Anda. Tidak ada yang diunggah.
Pengaturan yang mengubah pemakaian memori
| Pengaturan | Kata FAQ |
|---|---|
| OLLAMA_CONTEXT_LENGTH | Secara bawaan Ollama memakai jendela konteks sebesar 4096 tokens. Variabel lingkungan ini menimpanya, dan num_ctx dapat diatur per sesi atau melalui API. |
| OLLAMA_KV_CACHE_TYPE | Jenis kuantisasi untuk cache K/V. Nilai bawaannya adalah f16. |
| OLLAMA_FLASH_ATTENTION | Atur ke 1 saat Anda memulai server untuk memaksa Flash Attention aktif. FAQ menyebutkan Ollama mengaktifkannya secara otomatis bila backend dan perangkat mendukungnya. |
Variabel lingkungan server dimasukkan ke dalam override systemd. Artikel tentang memasang Ollama di VPS menunjukkan langkah-langkahnya. Kami tidak mengukur berapa banyak memori yang dihemat setiap pengaturan di server Anda, jadi periksa dengan ollama ps setelah mengubahnya.
Sumber
Baca selanjutnya
- Menghubungkan Dify ke Ollama di VPS Anda sendiriJalankan Dify di VPS Anda sendiri dan pakai Ollama sebagai modelnya: instalasi, kolom plugin, masalah alamat di Docker, dan embedding, dari dokumentasi resmi.
- Menjalankan LLM lokal tanpa PC mahal: panduan pemula memakai VPSTidak punya PC bertenaga? Sewa VPS dan jalankan LLM lokal kecil dari browser Anda: enam langkah dari perkiraan memori sampai layar obrolan yang terlindungi, dengan batasannya dinyatakan secara jujur.
- Pasang nginx di depan Ollama: autentikasi dasar, HTTPS, dan pengaturan streamingMengakses Ollama dari luar dengan aman: nginx sebagai proxy, autentikasi dasar, HTTPS, pengaturan streaming dan timeout, serta aturan firewall, berdasarkan dokumentasi resmi.
- Open WebUI di VPS: jalankan dengan Docker dan hubungkan ke OllamaJalankan Open WebUI dengan Docker dan hubungkan ke Ollama di server Anda sendiri: perintahnya, akun pertama, dua jenis koneksi, dan cara memperbarui.