~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — Ước tính bộ nhớ LLM cục bộ cần: tệp mô hình cộng KV cache

Ước tính dung lượng bộ nhớ mà một LLM chạy cục bộ cần trên VPS hoặc máy của bạn: tệp mô hình cộng với KV cache theo độ dài ngữ cảnh và số yêu cầu song song. Các cấu hình có sẵn dùng dung lượng tải xuống và cấu hình mô hình chính thức của Qwen3 và Mistral 7B. Dữ liệu không rời khỏi trình duyệt của bạn.

Một mô hình ngôn ngữ chạy cục bộ cần bộ nhớ cho hai thứ. Thứ nhất là chính mô hình, có dung lượng xấp xỉ tệp tải xuống của nó. Thứ hai là KV cache (bộ nhớ đệm KV), phình ra theo độ dài ngữ cảnh và theo số yêu cầu mà máy chủ xử lý cùng lúc. Ollama FAQ nêu rằng lượng RAM cần thiết tỷ lệ với OLLAMA_NUM_PARALLEL nhân với OLLAMA_CONTEXT_LENGTH, và việc lượng tử hóa cache bằng q8_0 dùng xấp xỉ một nửa bộ nhớ của f16, còn q4_0 khoảng một phần tư. Công cụ này cộng hai phần đó giúp bạn. Nó lấy dung lượng tệp từ Ollama library, lấy số lớp, số KV heads và head dimension từ tệp cấu hình chính thức của từng mô hình, rồi tính cache bằng 2 × số lớp × số KV heads × head dimension × độ dài ngữ cảnh × số yêu cầu song song × số byte mỗi giá trị. Sau đó nó cộng thêm phần dự trữ cho hệ điều hành và các dịch vụ khác, hiển thị tổng bằng GiB và GB, nêu mức dung lượng bộ nhớ phổ biến nhỏ nhất chứa vừa tổng đó, và cho biết tổng đó có vừa với gói VPS mà bạn nhập hay không. Kết quả là một ước tính, không phải số đo: nó không bao gồm các bộ đệm tính toán của chính runtime, và bạn nên đo trên máy chủ thật trước khi chốt một gói. Dữ liệu mô hình được kiểm tra vào ngày ghi bên dưới công cụ.