~/tools / Local LLM Memory Estimator
Local LLM Memory Estimator — Perkirakan memori LLM lokal: file model ditambah KV cache
Perkirakan memori yang dibutuhkan LLM lokal di VPS atau komputer Anda sendiri: file model ditambah KV cache sesuai panjang konteks dan jumlah permintaan paralel. Preset memakai ukuran unduhan resmi dan konfigurasi model Qwen3 dan Mistral 7B. Tidak ada data yang keluar dari browser Anda.
Perkiraan
- Bobot model
- 4.84 GiB
- KV cache
- 0.56 GiB
- Cadangan
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Ukuran memori umum terkecil yang cukup
- 8 GiB
Ini hanya perkiraan. Buffer komputasi milik runtime tidak ikut dihitung, dan dianggap setiap layer memiliki bentuk KV yang sama. Ukur proses yang sungguh dijalankan sebelum Anda memilih paket.
Data model diperiksa pada 2026-10-26.
Sumber: Ollama library · Konfigurasi model (config.json) · Ollama FAQ
Semuanya berjalan di browser Anda. Tidak ada yang diunggah.
Model bahasa lokal membutuhkan memori untuk dua hal. Pertama, model itu sendiri, yang ukurannya kurang lebih sama dengan file unduhannya. Kedua, KV cache, yang bertambah besar seiring panjang konteks dan jumlah permintaan yang ditangani server pada waktu bersamaan. Ollama FAQ menyatakan bahwa RAM yang dibutuhkan berskala dengan OLLAMA_NUM_PARALLEL dikalikan OLLAMA_CONTEXT_LENGTH, dan bahwa mengkuantisasi cache dengan q8_0 memakai memori sekitar setengah dari f16, sedangkan q4_0 sekitar seperempatnya. Alat ini menjumlahkan kedua bagian tersebut untuk Anda. Ukuran file diambil dari Ollama library, sedangkan jumlah layer, KV heads, dan dimensi head diambil dari file konfigurasi resmi tiap model, lalu cache dihitung sebagai 2 × layer × KV heads × dimensi head × panjang konteks × permintaan paralel × byte per nilai. Setelah itu alat ini menambahkan cadangan untuk sistem operasi dan layanan lain, menampilkan total dalam GiB dan GB, menyebutkan ukuran memori umum terkecil yang cukup untuk total tersebut, dan memberi tahu apakah hasilnya muat di paket VPS yang Anda masukkan. Hasilnya berupa perkiraan, bukan pengukuran: buffer komputasi milik runtime tidak ikut dihitung, dan server sungguhan sebaiknya diukur dulu sebelum Anda memilih paket. Data model diperiksa pada tanggal yang tertera di bawah alat.
Kapan dipakai
- Menentukan ukuran memori paket VPS sebelum Anda membayarnya
- Melihat pengaruh panjang konteks yang lebih besar atau jumlah permintaan paralel yang lebih banyak terhadap memori
- Membandingkan model yang lebih kecil dengan yang lebih besar untuk server yang sama
Cara pakai
- Pilih model, atau pilih entri kustom lalu ketik ukuran file, jumlah layer, KV heads, dan dimensi head dari model Anda sendiri.
- Atur panjang konteks, jumlah permintaan paralel, jenis KV cache, dan cadangan untuk sistem operasi serta layanan lain.
- Jika mau, ketik memori paket yang sedang Anda pertimbangkan untuk melihat apakah perkiraannya muat dan selisihnya berapa.
Tanya jawab
Bagaimana memori dihitung?
Alat ini menjumlahkan tiga bagian. Bobot adalah ukuran unduhan file model. KV cache adalah 2 × layer × KV heads × dimensi head × panjang konteks × permintaan paralel × byte per nilai, dengan satu nilai berukuran 2 byte pada f16, sekitar 1 byte pada q8_0, dan sekitar setengah byte pada q4_0, sesuai rasio dalam Ollama FAQ. Bagian ketiga adalah cadangan yang Anda tetapkan untuk sistem operasi dan layanan lain.
Dari mana angka-angka untuk model berasal?
Ukuran file dan kuantisasinya adalah yang ditampilkan Ollama library untuk setiap tag. Jumlah layer, KV heads, dan dimensi head berasal dari config.json resmi tiap model di Hugging Face. Untuk Mistral 7B, yang tidak mencantumkan dimensi head, nilainya adalah hidden size dibagi jumlah attention heads. Tanggal pemeriksaan ditampilkan di bawah alat.
Mengapa hasilnya hanya perkiraan?
Runtime juga membutuhkan memori kerja untuk buffer komputasinya, yang tidak dihitung oleh alat ini, dan pemakaian sebenarnya bergantung pada runtime beserta pengaturannya. Ukur pemakaian memori pada proses yang sungguh dijalankan sebelum Anda memilih paket, dan sisakan margin.
Apa bedanya GB dan GiB?
1 GB sama dengan 1,000,000,000 byte dan 1 GiB sama dengan 1,073,741,824 byte. Alat ini menampilkan keduanya untuk total, dan membandingkan memori paket yang Anda ketik dengan total dalam GiB agar tidak melebih-lebihkan apa yang muat. "GB" milik penyedia bisa berarti salah satunya, jadi periksa cara penyedia Anda menghitung.
Bisakah saya memakai model yang tidak ada dalam daftar?
Bisa. Pilih entri kustom lalu ketik ukuran file, jumlah layer, KV heads, dan dimensi head, yang tercantum di config.json model tersebut. Rumus ini berasumsi setiap layer memiliki bentuk KV yang sama, sehingga tidak cocok untuk model yang mencampur jenis layer, memakai sliding window, atau memakai mixture of experts.
Apa yang diubah oleh jenis KV cache?
Hanya ukuran cache yang berubah, bukan bobotnya. Menurut Ollama FAQ, q8_0 memakai memori sekitar setengah dari f16 dan q4_0 sekitar seperempatnya. Alat ini tidak mengukur pengaruh cache yang lebih kecil terhadap kualitas jawaban.
Apakah masukan saya dikirim ke server?
Tidak. Perhitungan berjalan di browser Anda.