~/ / Artikel AI / LLM lokal di VPS / Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPS
Apa saja yang bisa dilakukan model lokal? Tools, thinking, vision, dan embedding di Ollama, serta apa yang muat di VPS
Model lokal bukan sekadar kotak obrolan. Pustaka Ollama memberi label pada model sesuai hal-hal yang bisa dilakukannya, dan dokumentasi menjelaskan masing-masing: memanggil tools, menampilkan penalarannya, membaca gambar, dan mengubah teks menjadi vektor untuk pencarian. Artikel ini menjelaskan arti tiap label, mendaftar sepuluh model beserta label dan ukuran unduhannya, serta menunjukkan cara menyesuaikan apa yang ingin Anda lakukan dengan memori server Anda.
Terbit: · 4 menit baca · Label, ukuran, dan jendela konteks diperiksa terhadap pustaka dan dokumentasi Ollama pada 2026-10-26. Pustaka ini sering berubah, jadi periksa halaman tag yang akan Anda pakai.
Empat label
Pustaka Ollama menandai setiap model dengan kemampuan yang didukungnya. Empat di antaranya penting untuk apa yang Anda bangun di server. Dokumentasi menjelaskannya sebagai berikut.
| Label | Kata dokumentasi | Cara memakainya |
|---|---|---|
| tools | Pemanggilan tool, disebut juga function calling, memungkinkan model memanggil tool dan memasukkan hasilnya ke dalam jawabannya. Mendukung satu pemanggilan tool, pemanggilan tool paralel, dan loop agen multi-giliran. | Anda mendaftar tool yang tersedia di kolom tools pada permintaan ke /api/chat. Saat model memanggil sebuah tool, Anda menjalankannya lalu mengirim keluarannya kembali sebagai pesan dengan role tool. |
| thinking | Model yang mampu thinking mengeluarkan penalarannya secara terpisah dari jawaban akhir, sehingga Anda bisa mengaudit langkah-langkah model atau menyembunyikan jejaknya. | Anda mengatur parameter think pada permintaan. Penalaran dikembalikan di message.thinking dan jawabannya di message.content. |
| vision | Model vision menerima gambar bersama teks, sehingga model dapat mendeskripsikan, mengklasifikasikan, dan menjawab pertanyaan tentang apa yang dilihatnya. | Anda mengirim array images di dalam pesan. REST API mengharapkan data gambar yang dienkode base64. |
| embedding | Embedding adalah vektor numerik yang dapat Anda simpan di basis data vektor, cari dengan cosine similarity, atau gunakan dalam pipeline RAG. | Anda memanggil /api/embed. Dokumentasi merekomendasikan cosine similarity untuk sebagian besar pencarian semantik, serta model embedding yang sama untuk pengindeksan dan untuk kueri. |
Sepuluh model dan labelnya
Tabel ini memuat label yang ditampilkan pustaka Ollama untuk setiap keluarga model, bersama satu tag, ukuran yang tertera pada baris tag itu di daftar tag, dan jendela konteksnya. Ukuran tersebut adalah ukuran unduhan, jadi itu memori paling sedikit yang dibutuhkan model, bukan jumlah yang perlu direncanakan.
| Tag | Label | Ukuran unduhan | Jendela konteks | Kata pustaka tentang model ini |
|---|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 256K | Qwen3 adalah generasi terbaru model bahasa besar dalam seri Qwen |
| llama3.2:3b | tools | 2.0 GB | 128K | Llama 3.2 dari Meta hadir dengan model kecil 1B dan 3B |
| gemma3:4b | vision | 3.4 GB | 128K | Model paling mumpuni yang dapat berjalan di satu GPU |
| qwen3-vl:4b | vision, tools, thinking | 3.3 GB | 256K | Model vision-language paling andal dalam keluarga Qwen sejauh ini |
| deepseek-r1:7b | tools, thinking | 4.7 GB | 128K | Keluarga model penalaran terbuka |
| qwen2.5-coder:7b | tools | 4.7 GB | 32K | Seri terbaru model Qwen yang khusus untuk kode |
| mistral:7b | tools | 4.4 GB | 32K | Model 7B yang dirilis Mistral AI, diperbarui ke versi 0.3 |
| gpt-oss:20b | tools, thinking | 14 GB | 128K | Model open-weight dari OpenAI untuk penalaran dan tugas agentik |
| nomic-embed-text | embedding | 274 MB | 2K | Model embedding terbuka dengan jendela konteks token yang besar |
| embeddinggemma | embedding | 622 MB | 2K | Model embedding dengan 300M parameter dari Google |
Label melekat pada keluarga model, dan satu keluarga punya beberapa ukuran. Buka halaman tag persis yang akan Anda pakai untuk melihat jenis masukan dan ukurannya sebelum Anda mengunduhnya.
Mencocokkan kemampuan dengan tugas
Dokumentasi menyebutkan kegunaan tiap kemampuan, dan berikut ini adalah pembacaan kami atas artinya bagi server yang Anda jalankan sendiri, bukan klaim tentang kualitas:
- Tools: asisten yang dapat mencari sesuatu atau memicu suatu tindakan di sistem Anda sendiri, karena model meminta sebuah tool dan kode Anda yang menjalankannya. Definisi tool yang Anda kirim harus mengikuti bentuk API, yang dapat diperiksa oleh Tool Definition Checker.
- Thinking: jawaban yang penalaran modelnya ingin Anda lihat atau catat secara terpisah, misalnya saat Anda menguji sebuah prompt. Penalaran tiba sebelum jawaban, sehingga satu respons memakai lebih banyak token.
- Vision: mendeskripsikan atau mengklasifikasikan gambar, atau menjawab pertanyaan tentangnya, dengan model yang menerima gambar bersama teks.
- Embedding: pencarian berdasarkan makna dan retrieval untuk RAG. Kedua model embedding dalam tabel berukuran unduhan kecil, 274 MB dan 622 MB, jauh lebih kecil daripada model obrolan.
Apa yang muat di VPS
Memori menentukan apa yang bisa Anda jalankan. Ukuran unduhan di atas adalah batas bawah, dan panjang konteks menambahkan KV cache di atasnya. Untuk model Qwen3 dan Mistral 7B, kalkulator di bawah memakai nilai konfigurasi resmi, sehingga Anda dapat melihat totalnya untuk panjang konteks Anda dan untuk paket yang sedang Anda pertimbangkan.
Untuk model lain dalam tabel, kalkulator tidak punya preset, karena memerlukan jumlah layer, jumlah KV head, dan dimensi head dari file konfigurasi tiap model. Anda dapat mengetikkannya sebagai model kustom.
Coba sekarang: Local LLM Memory Estimator
Perkiraan
- Bobot model
- 4.84 GiB
- KV cache
- 0.56 GiB
- Cadangan
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Ukuran memori umum terkecil yang cukup
- 8 GiB
Ini hanya perkiraan. Buffer komputasi milik runtime tidak ikut dihitung, dan dianggap setiap layer memiliki bentuk KV yang sama. Ukur proses yang sungguh dijalankan sebelum Anda memilih paket.
Data model diperiksa pada 2026-10-26.
Sumber: Ollama library · Konfigurasi model (config.json) · Ollama FAQ
Semuanya berjalan di browser Anda. Tidak ada yang diunggah.
Memilih
- Mulailah dari kemampuan yang Anda butuhkan, lalu pilih model terkecil yang membawa labelnya, dan ukur memori serta kecepatannya di server uji sebelum Anda memutuskan paket.
- Periksa jendela konteks dalam tabel terhadap penggunaan Anda: kedua model embedding mencantumkan 2K, sedangkan mistral:7b dan qwen2.5-coder:7b mencantumkan 32K.
- Beberapa kemampuan bisa ada pada satu model. Qwen3 membawa tools dan thinking, dan Qwen3-VL menambahkan vision.
- Pustaka sering menambahkan model baru. Anggaplah tabel ini sebagai potret pada tanggal di atas.
Sumber
Baca selanjutnya
- Memanggil model lokal dari kode Anda: structured outputs dan API yang kompatibel dengan OpenAI di OllamaBatasi keluaran model lokal dengan JSON Schema dan panggil Ollama dari klien bergaya OpenAI: apa kata dokumentasi resmi, dan apa saja yang tidak didukung.
- Memasang Ollama di VPS dan menjaganya tetap berjalan: instalasi, layanan systemd, pengaturan, dan pembaruanPasang Ollama di VPS Linux dan jaga tetap berjalan: perintah instalasi, layanan systemd, variabel lingkungan, penyimpanan model, dan pembaruan, dari dokumentasi resmi.
- Berapa memori yang dibutuhkan LLM lokal di VPS? File model plus cache KVFile model plus cache KV: apa kata pustaka Ollama, FAQ Ollama, dan konfigurasi model resmi tentang memori yang dibutuhkan LLM lokal di VPS.
- Menjalankan AI di VPS sendiri: berapa memori yang perlu direncanakan, dan apa yang tidak boleh dibuka ke publikBerencana menjalankan Ollama atau Dify di VPS? Apa kata dokumentasi resmi tentang memori, inferensi hanya dengan CPU, dan port yang harus tetap tertutup.