toolkitbox

~/ / Bài viết về AI / LLM cục bộ trên VPS / Theo dõi bộ nhớ của Ollama trên VPS nhỏ

Theo dõi bộ nhớ của Ollama trên VPS nhỏ

Trên một máy chủ nhỏ, bộ nhớ chính là giới hạn, và Ollama vẫn giữ mô hình trong bộ nhớ sau khi đã trả lời xong. Bài viết này chỉ cách xem cái gì đang được nạp, nó nằm lại trong bao lâu, Ollama xử lý đồng thời bao nhiêu mô hình và yêu cầu, và những thiết lập nào làm thay đổi mức dùng bộ nhớ. Mọi giá trị mặc định dưới đây đều được trích từ FAQ chính thức.

Đăng: · 4 phút đọc · Các thông tin được đối chiếu với tài liệu chính thức của Ollama vào ngày 2026-10-27. Giá trị mặc định có thể thay đổi giữa các phiên bản, vì vậy hãy kiểm tra FAQ của phiên bản bạn đang chạy.

Xem cái gì đang được nạp

FAQ cho biết hãy dùng ollama ps để xem những mô hình nào hiện đang được nạp vào bộ nhớ. Cột PROCESSOR cho biết mô hình nằm ở đâu.

PROCESSOR hiển thịÝ nghĩa theo FAQ
100% GPUMô hình được nạp hoàn toàn vào GPU.
100% CPUMô hình được nạp hoàn toàn vào bộ nhớ hệ thống.
48%/52% CPU/GPUMô hình được nạp một phần vào GPU và một phần vào bộ nhớ hệ thống.

Trên VPS không có GPU, 100% CPU là kết quả bình thường: mô hình nằm trong bộ nhớ của máy chủ.

Mô hình ở lại trong bộ nhớ bao lâu

Theo FAQ, mặc định các mô hình được giữ trong bộ nhớ 5 phút trước khi bị gỡ khỏi bộ nhớ. Bạn có thể thay đổi điều này cho cả máy chủ hoặc cho từng yêu cầu.

Bạn muốnCách làm, theo FAQ
Gỡ một mô hình ngay bây giờollama stop llama3.2
Giữ một mô hình luôn được nạpGửi keep_alive với một số âm, ví dụ -1, trong yêu cầu tới /api/generate hoặc /api/chat.
Gỡ ngay sau khi trả lờiGửi keep_alive đặt là 0.
Khoảng thời gian kháckeep_alive cũng nhận một chuỗi thời lượng như 10m hoặc 24h, hoặc một số giây như 3600.
Đặt cho cả máy chủĐặt biến môi trường OLLAMA_KEEP_ALIVE khi khởi động máy chủ. Biến này nhận các loại giá trị tương tự. keep_alive trong một yêu cầu được ưu tiên hơn nó.

Nhận định của chúng tôi, không phải lời trong tài liệu: khi cùng máy chủ còn chạy những thứ khác, chẳng hạn Dify hoặc một giao diện chat, một mô hình cứ ở lại trong bộ nhớ sẽ chiếm phần bộ nhớ của chúng. Thời gian ngắn hơn giải phóng bộ nhớ sớm hơn, và yêu cầu tiếp theo phải nạp lại mô hình. Chúng tôi chưa đo việc đó mất bao lâu.

Nhiều mô hình, nhiều yêu cầu

FAQ mô tả ba giới hạn và một quy tắc. Nếu một mô hình mới không vừa với bộ nhớ còn trống trong khi các mô hình khác đang được nạp, các yêu cầu mới sẽ được xếp hàng cho đến khi nạp được, và các mô hình đang nhàn rỗi sẽ bị gỡ để nhường chỗ.

Công cụ ước tính bên dưới có một ô cho số yêu cầu song song, nên bạn có thể xem thiết lập cao hơn làm tổng thay đổi thế nào.

Thiết lậpFAQ cho biết
OLLAMA_MAX_LOADED_MODELSSố mô hình tối đa có thể được nạp đồng thời, miễn là vừa với bộ nhớ khả dụng. Mặc định là 3 lần số GPU, hoặc 3 với suy luận trên CPU.
OLLAMA_NUM_PARALLELSố yêu cầu song song tối đa mà mỗi mô hình xử lý cùng một lúc. Mặc định là 1. RAM cần thiết tăng theo OLLAMA_NUM_PARALLEL nhân với OLLAMA_CONTEXT_LENGTH.
OLLAMA_MAX_QUEUESố yêu cầu tối đa mà Ollama xếp hàng khi bận, trước khi từ chối thêm. Mặc định là 512. Các yêu cầu bị từ chối nhận lỗi 503.

Thử ngay: Local LLM Memory Estimator

Mô hình

Tag Ollama qwen3:8b, lượng tử hóa Q4_K_M, dung lượng tải xuống 5.2 GB.

Ước tính

Trọng số mô hình
4.84 GiB
KV cache
0.56 GiB
Dự trữ
1.00 GiB
Tổng
6.41 GiB (6.88 GB)
Dung lượng bộ nhớ phổ biến nhỏ nhất chứa vừa
8 GiB

Đây là một ước tính. Nó không bao gồm các bộ đệm tính toán của runtime, và giả định mọi lớp có cùng hình dạng KV. Hãy đo một lần chạy thật trước khi chọn gói.

Dữ liệu mô hình được kiểm tra ngày 2026-10-26.

Nguồn: Ollama library · Cấu hình mô hình (config.json) · Ollama FAQ

Mọi thứ chạy trong trình duyệt của bạn. Không có gì được tải lên.

Các thiết lập làm thay đổi mức dùng bộ nhớ

Thiết lậpFAQ cho biết
OLLAMA_CONTEXT_LENGTHTheo mặc định Ollama dùng cửa sổ ngữ cảnh 4096 tokens. Biến môi trường này ghi đè giá trị đó, và num_ctx có thể được đặt cho từng phiên hoặc qua API.
OLLAMA_KV_CACHE_TYPEKiểu lượng tử hóa cho bộ nhớ đệm K/V. Mặc định là f16.
OLLAMA_FLASH_ATTENTIONĐặt là 1 khi khởi động máy chủ để buộc bật Flash Attention. FAQ cho biết Ollama tự bật nó khi backend và thiết bị hỗ trợ.

Biến môi trường của máy chủ được đặt trong một bản ghi đè (override) của systemd. Bài viết về cài đặt Ollama trên VPS trình bày các bước. Chúng tôi chưa đo mỗi thiết lập tiết kiệm được bao nhiêu bộ nhớ trên máy chủ của bạn, vì vậy hãy kiểm tra bằng ollama ps sau khi thay đổi.

Nguồn

Đọc tiếp