~/tools / Yerel LLM'i kendi sunucunuzda çalıştırın / Ollama Log Reader

Ollama Log Reader — Ollama sunucu logunu okuyun: bellek, GPU katmanları, bağlam, hız, uyarılar

Ollama'nın sunucu logunu, server.log, journalctl veya docker logs çıktısından, yapıştırın; araç önemli olanı ayıklar: her model yüklemesinin ne kadar bellek tuttuğunu ve nerede tuttuğunu (ağırlıklar, KV önbelleği, hesaplama tamponları, CPU ve GPU ayrı ayrı), kaç katmanın GPU'ya gittiğini, bağlam uzunluğunu, istekleri ve durumlarını, prompt ve üretim hızını ve her uyarıyı açıklamasıyla birlikte. Bir prompt'un bağlama sığması için ne zaman kesildiğini, bir modelin ne zaman belleğe sığmadığını ve Ollama'nın bir modeli ne zaman yeniden yüklediğini gösterir. Hiçbir veri tarayıcınızdan çıkmaz.

# macOS
cat ~/.ollama/logs/server.log

# Linux (systemd)
journalctl -u ollama --no-pager

# Docker
docker logs <container-name>

# Windows
explorer %LOCALAPPDATA%\Ollama

Ollama yavaş çalıştığında, yanıtlar uzun bir prompt'un başını yok saydığında ya da bir istek 500 hatasıyla başarısız olduğunda, açıklama genellikle sunucu logundadır. Log, Ollama'nın kendi satırlarını (time=… level=… msg=…), her HTTP isteği için bir satırı ([GIN] …) ve llama-server'ın çıktısını bir arada barındırır; llama-server, Ollama'nın her GGUF modelini yüklemek için çalıştırdığı llama.cpp programıdır. Bu araç üçünü de okur. Her model yüklemesi için bağlam uzunluğunu (-c), paralel istek sayısını (-np), modelin dosya türünü ve boyutunu, modelin eğitildiği bağlam uzunluğunu, kaç katmanın GPU'ya aktarıldığını ve ağırlıklar, KV önbelleği ve hesaplama tamponları için bellek miktarını cihaz başına gösterir. Ayrıca istekleri durumları ve süreleriyle, llama-server'ın her istekten sonra yazdığı prompt ve üretim hızını listeler. Ardından Ollama'nın kaynak kodundaki (v0.40.15) mesajlara dayanarak neyin ters gittiğini açıklar. Bir prompt bağlama sığmadığında Ollama ilk num_keep token'ı ve prompt'un sonunu tutar, aradaki kısmı prompt bağlamın yaklaşık yarısını kaplayana kadar siler: testimizde num_ctx 256 iken 633 token'lık bir prompt 130 token'a kesildi. truncate false olarak ayarlandığında aynı istek 400 hatasıyla reddedildi. Modelin eğitildiği uzunluğun üzerindeki bir num_ctx, o uzunluğa düşürülür. Bir model belleğe sığmadığında yükleme başarısız olur: testimizde 1.9 GiB belleği olan ve GPU'su bulunmayan bir Linux makinede qwen2.5:7b yalnızca ağırlıkları için 4,460 MiB gerektirdi, llama-server signal: killed ile durduruldu ve istek 500 döndürdü. llama-server'ın sonlandığını söyleyen ve hemen ardından yeni bir başlatma gelen bir satır, Ollama'nın modeli başka ayarlarla yeniden yüklediği anlamına gelir; çöktüğü anlamına gelmez. Logun biçimi sürümden sürüme değişir; araç tanıdığı satırları okur, kalanını atlar. Aracı, Ollama 0.40.11'in macOS (Apple M1) ve Docker içindeki, GPU'suz Linux üzerindeki gerçek loglarıyla denedik.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/ollama-log.ts