~/tools / Menjalankan LLM lokal di server Anda / Ollama Log Reader

Ollama Log Reader — Baca log server Ollama: memori, layer GPU, konteks, kecepatan, peringatan

Tempel log server Ollama, dari server.log, journalctl, atau docker logs, dan alat ini memilih hal-hal yang penting: berapa banyak memori yang dipakai setiap pemuatan model dan di mana (bobot, KV cache, buffer komputasi, per CPU atau GPU), berapa banyak layer yang masuk ke GPU, panjang konteks, permintaan beserta statusnya, kecepatan prompt dan generasi, serta setiap peringatan lengkap dengan penjelasan. Alat ini menunjukkan kapan prompt dipotong agar muat di konteks, kapan model tidak muat di memori, dan kapan Ollama memuat ulang model. Tidak ada data yang keluar dari browser Anda.

# macOS
cat ~/.ollama/logs/server.log

# Linux (systemd)
journalctl -u ollama --no-pager

# Docker
docker logs <container-name>

# Windows
explorer %LOCALAPPDATA%\Ollama

Saat Ollama lambat, jawaban mengabaikan awal prompt yang panjang, atau permintaan gagal dengan error 500, penjelasannya biasanya ada di log server. Log itu mencampur baris milik Ollama sendiri (time=… level=… msg=…), satu baris untuk setiap permintaan HTTP ([GIN] …), dan keluaran llama-server, program llama.cpp yang dijalankan Ollama untuk memuat setiap model GGUF. Alat ini membaca ketiganya. Untuk setiap pemuatan model, alat ini menampilkan panjang konteks (-c), jumlah permintaan paralel (-np), jenis dan ukuran file model, panjang konteks yang dipakai saat model dilatih, berapa banyak layer yang dipindahkan ke GPU, serta memori untuk bobot, KV cache, dan buffer komputasi, per perangkat. Alat ini juga mendaftar permintaan beserta status dan durasinya, serta kecepatan prompt dan generasi yang dicetak llama-server setelah setiap permintaan. Lalu alat ini menjelaskan apa yang salah, berdasarkan pesan-pesan di kode sumber Ollama (v0.40.15). Saat sebuah prompt tidak muat di konteks, Ollama mempertahankan num_keep token pertama dan bagian akhir prompt, lalu membuang bagian di antaranya, sampai prompt memakai sekitar setengah konteks: dalam pengujian kami, prompt 633 token dengan num_ctx 256 dipotong menjadi 130 token. Dengan truncate diatur ke false, permintaan yang sama ditolak dengan error 400. num_ctx yang melebihi panjang saat model dilatih diturunkan ke panjang tersebut. Saat model tidak muat di memori, pemuatan gagal: dalam pengujian kami di Linux dengan memori 1.9 GiB dan tanpa GPU, qwen2.5:7b membutuhkan 4,460 MiB hanya untuk bobotnya, llama-server dihentikan dengan signal: killed, dan permintaan mengembalikan 500. Baris yang menyatakan llama-server berhenti, diikuti langsung oleh start baru, berarti Ollama sedang memuat ulang model dengan pengaturan lain, bukan crash. Format log berubah dari rilis ke rilis; alat ini membaca baris yang dikenalnya dan melewati sisanya. Kami memeriksanya dengan log asli dari Ollama 0.40.11 di macOS (Apple M1) dan di Linux dalam Docker, tanpa GPU.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-log.ts