~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama Log Reader

Ollama Log Reader — Đọc log máy chủ Ollama: bộ nhớ, lớp trên GPU, ngữ cảnh, tốc độ, cảnh báo

Dán log máy chủ của Ollama, từ server.log, journalctl hoặc docker logs, và công cụ sẽ chọn ra những gì quan trọng: mỗi lần tải mô hình tốn bao nhiêu bộ nhớ và ở đâu (trọng số, KV cache, bộ đệm tính toán, theo từng CPU hoặc GPU), bao nhiêu lớp được đưa lên GPU, độ dài ngữ cảnh, các yêu cầu và trạng thái của chúng, tốc độ xử lý prompt và tốc độ sinh, cùng mọi cảnh báo kèm giải thích. Nó cho biết khi nào prompt bị cắt cho vừa ngữ cảnh, khi nào mô hình không vừa bộ nhớ, và khi nào Ollama tải lại một mô hình. Không có gì rời khỏi trình duyệt của bạn.

# macOS
cat ~/.ollama/logs/server.log

# Linux (systemd)
journalctl -u ollama --no-pager

# Docker
docker logs <container-name>

# Windows
explorer %LOCALAPPDATA%\Ollama

Khi Ollama chạy chậm, câu trả lời bỏ qua phần đầu của một prompt dài, hoặc một yêu cầu thất bại với lỗi 500, lời giải thích thường nằm trong log máy chủ. Log trộn lẫn các dòng của chính Ollama (time=… level=… msg=…), một dòng cho mỗi yêu cầu HTTP ([GIN] …), và đầu ra của llama-server, chương trình llama.cpp mà Ollama chạy để tải từng mô hình GGUF. Công cụ này đọc cả ba loại. Với mỗi lần tải mô hình, nó hiển thị độ dài ngữ cảnh (-c), số yêu cầu song song (-np), loại tệp và dung lượng của mô hình, độ dài ngữ cảnh mà nó được huấn luyện, bao nhiêu lớp đã được chuyển sang GPU, và bộ nhớ dành cho trọng số, KV cache và bộ đệm tính toán, theo từng thiết bị. Nó cũng liệt kê các yêu cầu cùng trạng thái và thời lượng, cùng tốc độ xử lý prompt và tốc độ sinh mà llama-server in ra sau mỗi yêu cầu. Sau đó nó giải thích điều gì đã xảy ra, dựa trên các thông điệp trong mã nguồn của Ollama (v0.40.15). Khi một prompt không vừa ngữ cảnh, Ollama giữ num_keep token đầu và phần cuối của prompt, bỏ phần ở giữa, cho đến khi prompt chiếm khoảng một nửa ngữ cảnh: trong thử nghiệm của chúng tôi, một prompt 633 token với num_ctx 256 bị cắt còn 130 token. Với truncate đặt là false, cùng yêu cầu đó bị từ chối với lỗi 400. Một num_ctx lớn hơn độ dài mà mô hình được huấn luyện sẽ bị hạ xuống bằng độ dài đó. Khi một mô hình không vừa bộ nhớ, việc tải thất bại: trong thử nghiệm của chúng tôi trên Linux với 1.9 GiB bộ nhớ và không có GPU, qwen2.5:7b cần 4,460 MiB chỉ cho trọng số, llama-server bị dừng với signal: killed, và yêu cầu trả về 500. Một dòng cho biết llama-server đã kết thúc, theo sau ngay bởi một lần khởi động mới, nghĩa là Ollama đang tải lại mô hình với các thiết lập khác, chứ không phải bị treo. Định dạng của log thay đổi giữa các bản phát hành; công cụ đọc những dòng nó biết và bỏ qua phần còn lại. Chúng tôi đã kiểm tra nó với log thật của Ollama 0.40.11 trên macOS (Apple M1) và trên Linux trong Docker, không có GPU.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-log.ts