~/ / Artikel AI / LLM lokal di VPS / Berapa memori yang dibutuhkan LLM lokal di VPS? File model plus cache KV
Berapa memori yang dibutuhkan LLM lokal di VPS? File model plus cache KV
Sebelum menyewa server untuk menjalankan model lokal, Anda perlu tahu berapa memori yang dipakainya. Jawabannya terdiri dari dua bagian: modelnya sendiri, dan cache yang membesar seiring panjang percakapan dan jumlah permintaan yang ditangani sekaligus. Artikel ini merangkum isi pustaka Ollama, FAQ Ollama, dan file konfigurasi model resmi, menghitung cache untuk enam model populer, lalu mempersilakan Anda mencoba angka Anda sendiri.
Terbit: · 4 menit baca · Data model dicocokkan dengan sumber resmi pada 2026-10-26. Ukuran dan nilai bawaan bisa berubah, jadi pastikan lagi sebelum Anda memilih paket.
Dua hal yang memenuhi memori
Yang pertama adalah bobot model, yang memakan memori kurang lebih sebesar file unduhannya. Yang kedua adalah cache KV, yang menyimpan key dan value yang sudah dihitung model untuk teks di dalam konteksnya. FAQ Ollama menyatakan bahwa RAM yang dibutuhkan berskala menurut OLLAMA_NUM_PARALLEL dikalikan OLLAMA_CONTEXT_LENGTH.
Ukuran cache dapat dihitung dari konfigurasi model: 2 × jumlah layer × jumlah head KV × dimensi head × byte per nilai menghasilkan byte untuk satu token, lalu dikalikan dengan panjang konteks dan jumlah permintaan paralel. Pada f16, satu nilai memakai 2 byte. Untuk Qwen3 8B, yang punya 36 layer, 8 head KV, dan dimensi head 128, satu token memakan 2 × 36 × 8 × 128 × 2 = 147,456 byte. Pada 4,096 token itu menjadi 576 MiB, dan pada 32,768 token menjadi 4,608 MiB. Rumus ini adalah hasil perhitungan kami dari nilai konfigurasi, bukan angka yang dipublikasikan oleh Ollama.
Apa kata sumber resmi tentang tiap model
Ukuran unduhan dan kuantisasinya adalah yang ditampilkan pustaka Ollama untuk setiap tag, dan keenam tag di bawah ini semuanya ditampilkan dengan kuantisasi Q4_K_M. Jumlah layer, head KV, dan dimensi head berasal dari config.json tiap model di Hugging Face.
| Model | Ukuran unduhan (GB) | Layer | Head KV | Dimensi head |
|---|---|---|---|---|
| Qwen3 0.6B | 0.523 | 28 | 8 | 128 |
| Qwen3 1.7B | 1.4 | 28 | 8 | 128 |
| Qwen3 4B | 2.5 | 36 | 8 | 128 |
| Qwen3 8B | 5.2 | 36 | 8 | 128 |
| Qwen3 14B | 9.3 | 40 | 8 | 128 |
| Mistral 7B (v0.3) | 4.4 | 32 | 8 | 128 |
Konfigurasi Mistral 7B tidak mencantumkan dimensi head, sehingga nilainya adalah ukuran hidden dibagi jumlah head atensi, 4096 ÷ 32 = 128. Tag Qwen3 4B di pustaka Ollama mencantumkan jendela konteks 256K. Rilis 2507 dari Qwen3 4B di Hugging Face memiliki jumlah layer, head KV, dan dimensi head yang sama dengan versi aslinya.
Artinya bagi memori
Dengan rumus di atas, tabel ini menunjukkan cache untuk setiap model pada dua panjang konteks, serta perkiraan totalnya pada 4,096 token. Totalnya adalah bobot, cache dalam f16 untuk satu permintaan pada satu waktu, dan cadangan 1 GiB untuk sistem operasi dan layanan lain. Kolom terakhir adalah ukuran memori umum terkecil yang muat.
| Model | Cache KV pada 4,096 token (MiB) | Cache KV pada 32,768 token (MiB) | Perkiraan total pada 4,096 token (GiB) | Ukuran memori umum terkecil (GiB) |
|---|---|---|---|---|
| Qwen3 0.6B | 448 | 3584 | 1.92 | 2 |
| Qwen3 1.7B | 448 | 3584 | 2.74 | 4 |
| Qwen3 4B | 576 | 4608 | 3.89 | 4 |
| Qwen3 8B | 576 | 4608 | 6.41 | 8 |
| Qwen3 14B | 640 | 5120 | 10.29 | 12 |
| Mistral 7B (v0.3) | 512 | 4096 | 5.60 | 8 |
Ini adalah perkiraan, bukan hasil pengukuran. Model yang muat dengan sisa sangat tipis pada 4,096 token tidak akan muat saat Anda menaikkan panjang konteks: pada 32,768 token, cache Qwen3 8B saja sudah 4,608 MiB.
Konteks lebih panjang, permintaan paralel lebih banyak
- FAQ Ollama menyatakan bahwa RAM yang dibutuhkan berskala menurut OLLAMA_NUM_PARALLEL dikalikan OLLAMA_CONTEXT_LENGTH, dan memberi contoh: konteks 2K dengan 4 permintaan paralel menghasilkan konteks 8K dan tambahan memori.
- OLLAMA_NUM_PARALLEL didokumentasikan dengan nilai bawaan 1, sehingga server untuk satu pengguna dimulai dengan satu permintaan pada satu waktu.
- FAQ juga menyatakan bahwa mengkuantisasi cache key-value dengan q8_0 memakai kira-kira setengah memori f16, dan q4_0 kira-kira seperempatnya. Dengan rasio dari FAQ itu, cache menyusut menjadi sekitar 288 MiB untuk Qwen3 8B pada 4,096 token dengan q8_0.
- Halaman context length di dokumentasi Ollama menyatakan bahwa panjang konteks yang lebih besar menambah memori yang dibutuhkan model, dan bahwa Anda dapat memeriksa kolom PROCESSOR pada ollama ps untuk melihat apakah model dipindahkan ke CPU.
Coba angka Anda sendiri
Kalkulator di bawah ini memakai rumus dan data yang sama. Pilih model atau masukkan model Anda sendiri, atur panjang konteks, permintaan paralel, jenis cache, dan cadangan, lalu ketikkan memori paket yang sedang Anda pertimbangkan untuk melihat apakah perkiraannya muat.
Coba sendiri: Local LLM Memory Estimator
Perkiraan
- Bobot model
- 4.84 GiB
- KV cache
- 0.56 GiB
- Cadangan
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Ukuran memori umum terkecil yang cukup
- 8 GiB
Ini hanya perkiraan. Buffer komputasi milik runtime tidak ikut dihitung, dan dianggap setiap layer memiliki bentuk KV yang sama. Ukur proses yang sungguh dijalankan sebelum Anda memilih paket.
Data model diperiksa pada 2026-10-26.
Sumber: Ollama library · Konfigurasi model (config.json) · Ollama FAQ
Semuanya berjalan di browser Anda. Tidak ada yang diunggah.
Sebelum memilih paket
- Perkiraan ini belum menghitung memori kerja milik runtime itu sendiri untuk buffer komputasinya. Saran kami: jalankan model di server uji, pantau pemakaian memori dengan panjang konteks yang berniat Anda pakai, dan sisakan margin.
- 1 GB adalah 1,000,000,000 byte dan 1 GiB adalah 1,073,741,824 byte. "GB" di penyedia layanan bisa berarti salah satunya, jadi periksa cara penyedia Anda menghitung sebelum membandingkan.
- Memori bukan satu-satunya batas. File model pada tabel juga butuh ruang disk, dan dokumen yang kami periksa tidak memberi angka kecepatan untuk operasi hanya dengan CPU.
- Jika sebuah model hanya pas-pasan muat, pilih ukuran satu tingkat di atasnya atau model yang lebih kecil, jangan menurunkan panjang konteks sampai model itu bisa jalan.
Sumber
- Ollama library: qwen3
- Ollama library: mistral
- Ollama documentation: FAQ
- Ollama documentation: Context length
- Qwen3-0.6B config.json (Hugging Face)
- Qwen3-1.7B config.json (Hugging Face)
- Qwen3-4B config.json (Hugging Face)
- Qwen3-8B config.json (Hugging Face)
- Qwen3-14B config.json (Hugging Face)
- Mistral-7B-Instruct-v0.3 config.json (Hugging Face)
Baca selanjutnya
- Memanggil model lokal dari kode Anda: structured outputs dan API yang kompatibel dengan OpenAI di OllamaBatasi keluaran model lokal dengan JSON Schema dan panggil Ollama dari klien bergaya OpenAI: apa kata dokumentasi resmi, dan apa saja yang tidak didukung.
- Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPSTools, thinking, vision, embedding: arti label di pustaka Ollama, model mana yang membawanya, dan seberapa besar unduhannya.
- Memasang Ollama di VPS dan menjaganya tetap berjalan: instalasi, layanan systemd, pengaturan, dan pembaruanPasang Ollama di VPS Linux dan jaga tetap berjalan: perintah instalasi, layanan systemd, variabel lingkungan, penyimpanan model, dan pembaruan, dari dokumentasi resmi.
- Menjalankan AI di VPS sendiri: berapa memori yang perlu direncanakan, dan apa yang tidak boleh dibuka ke publikBerencana menjalankan Ollama atau Dify di VPS? Apa kata dokumentasi resmi tentang memori, inferensi hanya dengan CPU, dan port yang harus tetap tertutup.