~/tools / Menjalankan LLM lokal di server Anda / Ollama systemd Override Generator

Ollama systemd Override Generator — Buat override systemd Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE, dan lainnya

Buat override systemd yang mengatur variabel lingkungan Ollama di server Linux: alamat yang didengarkan, direktori model, berapa lama model tetap di memori, panjang konteks, permintaan paralel, Flash Attention, tipe cache K/V, origin tambahan, mode lokal saja, dan proxy HTTPS. Setiap variabel berasal dari FAQ resmi Ollama, dan setiap nilai diberi tanda kutip sesuai cara systemd membacanya. Tidak ada data yang keluar dari browser Anda.

Variabel lingkungan

Kolom kosong tidak ditulis. Teks abu-abu adalah default yang tercantum di FAQ Ollama.

OLLAMA_HOSTAlamat dan port yang didengarkan OllamaOLLAMA_MODELSDirektori file model; pengguna ollama memerlukan akses baca dan tulisOLLAMA_KEEP_ALIVEBerapa lama model tetap di memori: 10m, 24h, 3600 (detik), -1 untuk terus menyimpan, 0 untuk langsung melepasOLLAMA_CONTEXT_LENGTHJendela konteks default, dalam tokenOLLAMA_NUM_PARALLELPermintaan paralel per model; memori bertambah sesuai angka ini dikali panjang konteksOLLAMA_MAX_LOADED_MODELSModel yang dimuat sekaligus jika muat (3 untuk inferensi CPU)OLLAMA_MAX_QUEUEPermintaan yang diantrekan saat sibuk sebelum yang lain ditolak dengan 503OLLAMA_FLASH_ATTENTIONDipakai otomatis jika didukung; 1 memaksa menyalakan, 0 mematikanOLLAMA_KV_CACHE_TYPESaat Flash Attention menyala, q8_0 memakai sekitar setengah memori f16 dan q4_0 sekitar seperempatnyaOLLAMA_ORIGINSOrigin web tambahan yang boleh memanggil Ollama, dipisahkan komaOLLAMA_NO_CLOUDMode lokal saja, tanpa model cloud dan pencarian web OllamaAtur OLLAMA_NO_CLOUD=1HTTPS_PROXYProxy untuk unduhan model

Override untuk systemctl edit

Tempel ini ke editor yang dibuka oleh sudo systemctl edit ollama.service, di antara dua baris komentar. File ini disimpan sebagai /etc/systemd/system/ollama.service.d/override.conf.

[Service]
Environment="OLLAMA_KEEP_ALIVE=10m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NO_CLOUD=1"

Perintah

Jalankan di server dengan urutan ini. Perintah terakhir menampilkan variabel yang diterima layanan. Saat Anda mengubah OLLAMA_MODELS, dua perintah pertama membuat direktori dan menyerahkannya ke pengguna ollama; mkdir -p adalah tambahan dari kami, karena chown gagal pada direktori yang belum ada.

sudo systemctl edit ollama.service
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Variabel dan default sesuai FAQ Ollama, dan aturan tanda kutip sesuai manual systemd.exec, diperiksa pada 2026-11-03. Ollama FAQ / systemd.exec: Environment=

Semua dilakukan di browser Anda. Tidak ada yang Anda masukkan dikirim ke mana pun.

Saat Ollama berjalan sebagai layanan systemd di Linux, FAQ resmi menyarankan untuk mengatur variabel lingkungannya dengan systemctl edit ollama.service: tambahkan satu baris Environment per variabel di bawah [Service], simpan, lalu jalankan systemctl daemon-reload dan systemctl restart ollama. Langkahnya singkat, tetapi detailnya mudah salah. systemd memperluas specifier, sehingga tanda % harus ditulis %%; garis miring terbalik atau tanda kutip ganda di dalam penugasan yang diberi tanda kutip dibaca sebagai escape; dan nilai yang mengandung spasi harus diberi tanda kutip secara keseluruhan. Alat ini menuliskan override tersebut untuk Anda. Alat ini hanya menawarkan variabel yang didokumentasikan di FAQ, menampilkan nilai default yang didokumentasikan di samping masing-masing, memberi tanda kutip pada setiap penugasan dalam bentuk "NAME=value", dan menggandakan tanda %. Alat ini memberi peringatan saat sebuah nilai membuat Ollama mendengarkan di semua antarmuka jaringan, saat sebuah jumlah bukan bilangan bulat, dan saat cache K/V terkuantisasi dipilih dengan Flash Attention dimatikan. Kami menguji keluarannya di Ubuntu 24.04 dengan systemd 255: kami menempelkannya ke systemctl edit dan memastikan bahwa layanan menerima setiap nilai tanpa berubah, termasuk spasi, $, ' dan %.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-systemd.ts

Kapan dipakai

Menjaga model tetap di memori lebih lama, atau melepasnya lebih cepat, di VPS kecil dengan OLLAMA_KEEP_ALIVE
Memindahkan file model ke disk yang lebih besar dengan OLLAMA_MODELS
Membatasi Ollama pada satu model yang dimuat dan mengatur panjang konteks default untuk server dengan memori sedikit

Cara pakai

Isi hanya variabel yang ingin Anda ubah. Kolom kosong tidak ditulis, sehingga Ollama tetap memakai default-nya. Teks abu-abu di setiap kolom adalah default yang disebutkan FAQ.
Baca peringatannya. Alamat yang didengarkan selain 127.0.0.1 atau localhost membuat Ollama dapat dijangkau dari mesin lain, dan FAQ tidak menjelaskan autentikasi apa pun untuk itu.
Jalankan sudo systemctl edit ollama.service, tempel teksnya di editor di antara dua baris komentar, simpan, lalu keluar. Setelah itu jalankan perintah lainnya untuk memuat ulang systemd, memulai ulang Ollama, dan memeriksa nilai yang diterimanya.

Tanya jawab

Di mana file disimpan?

systemctl edit menyimpannya sebagai file drop-in, /etc/systemd/system/ollama.service.d/override.conf, dan tidak mengubah file unit utamanya. Saat kami menjalankannya di Ubuntu 24.04, editor menampilkan komentar ### Anything between here and the comment below will become the contents of the drop-in file. Tempel teksnya di antara komentar itu dan komentar di bawahnya.

Mengapa setiap nilai diberi tanda kutip ganda?

Dokumentasi systemd menyebutkan bahwa nilai yang mengandung spasi atau tanda sama dengan harus diberi tanda kutip di seluruh penugasan. Memberi tanda kutip pada setiap baris dengan cara yang sama menjaga path yang mengandung spasi dan daftar seperti OLLAMA_ORIGINS tetap utuh. Dokumentasi juga menyebutkan bahwa $ tidak memiliki arti khusus di sini sehingga diteruskan apa adanya, sedangkan % memulai sebuah specifier, sehingga alat ini menulis %% untuk % yang harfiah.

Karakter apa yang tidak diterima?

Tanda kutip ganda, garis miring terbalik, dan karakter kontrol seperti tab. Di dalam penugasan yang diberi tanda kutip, systemd membacanya sebagai escape atau menolaknya, sehingga nilainya tidak akan sampai ke Ollama seperti yang diketik. Alat ini melaporkannya sebagai error dan melewatkan baris tersebut.

Apakah aman mengatur OLLAMA_HOST ke 0.0.0.0?

Ini membuat Ollama mendengarkan di semua antarmuka jaringan, sehingga mesin lain dapat menjangkaunya. FAQ menyebutkan bahwa Ollama secara default terikat ke 127.0.0.1 port 11434 dan tidak menjelaskan autentikasi apa pun untuk server. Rekomendasi kami, bukan pernyataan dari dokumen: pertahankan default dan jangkau Ollama lewat tunnel SSH atau proxy dengan kata sandi dan HTTPS, serta batasi port 11434 di firewall.

Bolehkah saya menaruh kata sandi di HTTPS_PROXY?

Alat ini memberi peringatan saat alamat proxy mengandung nama pengguna dan kata sandi. Dokumentasi systemd menyebutkan bahwa variabel lingkungan tidak cocok untuk meneruskan rahasia, karena nilai yang diatur untuk sebuah unit dapat dibaca oleh klien tanpa hak istimewa. FAQ juga menyarankan untuk tidak mengatur HTTP_PROXY, karena Ollama mengunduh model hanya lewat HTTPS dan HTTP_PROXY dapat mengganggu koneksi klien, sehingga alat ini hanya menawarkan HTTPS_PROXY.

Apakah ada yang dikirim ke server?

Tidak. Override disusun di browser Anda.

Terkait

Ollama nginx Config Generator Local LLM Memory Estimator