~/ / Bài viết về AI / LLM cục bộ trên VPS / Chạy AI trên VPS của riêng bạn: cần dự trù bao nhiêu bộ nhớ và không nên mở ra ngoài những gì
Chạy AI trên VPS của riêng bạn: cần dự trù bao nhiêu bộ nhớ và không nên mở ra ngoài những gì
Chạy một mô hình ngôn ngữ hoặc một trình xây dựng ứng dụng AI trên VPS thuê ngoài rất hấp dẫn: phí cố định hằng tháng và dữ liệu của bạn nằm trên máy chủ do bạn kiểm soát. Nhưng gói bạn chọn quyết định liệu nó có chạy được hay không, và một bản cài mặc định có thể để dịch vụ bị truy cập được từ internet. Bài viết này tổng hợp những gì tài liệu chính thức của Ollama và Dify nói về bộ nhớ, vận hành chỉ bằng CPU và việc mở dịch vụ ra mạng, để bạn chọn được gói trước khi trả tiền.
Đăng: · 5 phút đọc · Đã đối chiếu với tài liệu chính thức vào ngày 2026-10-26. Phiên bản và giá trị mặc định có thể thay đổi, vì vậy hãy xác nhận lại trong tài liệu hiện hành trước khi cài đặt.
Những gì phải nằm vừa trong bộ nhớ
Dung lượng tải về của một mô hình là lượng bộ nhớ tối thiểu nó cần, chứ không phải lượng bạn nên dự trù. Thư viện Ollama liệt kê dung lượng tải về của từng tag. Ví dụ, Llama 3.2 được ghi là 1.3 GB cho tag 1b và 2.0 GB cho tag 3b, cả hai đều có cửa sổ ngữ cảnh 128K.
Ngoài mô hình, bộ nhớ còn tăng theo ngữ cảnh. FAQ của Ollama nêu rằng lượng RAM cần thiết tỷ lệ với OLLAMA_NUM_PARALLEL nhân với OLLAMA_CONTEXT_LENGTH, và đưa ra một ví dụ: ngữ cảnh 2K với 4 yêu cầu song song trở thành ngữ cảnh 8K và cần thêm bộ nhớ. FAQ cũng nói rằng lượng tử hóa key-value cache bằng q8_0 dùng khoảng một nửa bộ nhớ so với f16, còn q4_0 khoảng một phần tư.
| Tag mô hình | Dung lượng tải về | Cửa sổ ngữ cảnh |
|---|---|---|
| llama3.2:1b | 1.3 GB | 128K |
| llama3.2:3b | 2.0 GB | 128K |
- FAQ của Ollama nêu 4096 token là cửa sổ ngữ cảnh mặc định, và trang về độ dài ngữ cảnh nói rằng giá trị mặc định phụ thuộc vào VRAM của GPU (4k khi dưới 24 GiB). Hãy kiểm tra giá trị mà bản cài của bạn thực sự dùng.
- README của Ollama mà chúng tôi đã xem không liệt kê yêu cầu RAM cho từng cỡ mô hình. Hãy đo thay vì đoán: nạp mô hình với độ dài ngữ cảnh bạn định dùng, gửi một prompt và theo dõi mức dùng bộ nhớ của máy chủ.
- Hãy chừa chỗ cho hệ điều hành và mọi dịch vụ khác trên cùng máy chủ.
Dung lượng tải về được đọc từ trang thư viện Ollama vào ngày nêu ở trên. Đó là kích thước tệp, không phải mức dùng bộ nhớ đã đo.
Không có GPU: chỉ dùng CPU nghĩa là gì
Hầu hết các gói VPS không có GPU, nên mô hình chạy trên CPU và trong bộ nhớ hệ thống. FAQ của Ollama mô tả trường hợp này: ollama ps hiển thị 100% CPU ở cột PROCESSOR khi mô hình được nạp hoàn toàn vào bộ nhớ hệ thống, và giá trị mặc định của OLLAMA_MAX_LOADED_MODELS là 3 đối với suy luận bằng CPU.
Các tài liệu không đưa ra con số tốc độ nào cho vận hành chỉ bằng CPU, và chúng tôi cũng không đo. Hãy bắt đầu với mô hình nhỏ nhất làm được việc của bạn, và thử trong vài ngày trước khi cam kết hợp đồng dài hạn hơn.
Chạy Dify trên VPS
Dify có thể tự lưu trữ bằng Docker Compose. Tài liệu của Dify liệt kê các yêu cầu hệ thống tối thiểu, và đó là mức tối thiểu chứ không phải mức khuyến nghị:
- CPU: từ 2 nhân trở lên
- RAM: từ 4 GiB trở lên
- Linux: Docker 19.03 trở lên và Docker Compose 2.24.0 trở lên
| Bước | Việc cần làm |
|---|---|
| 1 | Clone kho mã Dify rồi vào thư mục dify/docker |
| 2 | Sao chép .env.example thành .env |
| 3 | Tạo một token bằng openssl rand -base64 32 và đặt nó làm DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN trong .env |
| 4 | Chạy docker compose up -d |
| 5 | Kiểm tra docker compose ps: các container phải hiển thị Up hoặc healthy |
| 6 | Mở /install trên máy chủ của bạn để tạo tài khoản quản trị, rồi đăng nhập |
Trang Dify mà chúng tôi đã xem không nhắc đến Ollama hay mô hình cục bộ. Nếu một máy chủ chạy cả Dify lẫn một mô hình cục bộ, hãy dự trù bộ nhớ cho cả hai (đây là cách chúng tôi đọc hai tài liệu, không phải con số từ tài liệu nào).
Không nên mở ra internet những gì
FAQ của Ollama nói rằng Ollama mặc định gắn vào 127.0.0.1 cổng 11434 và bạn đổi địa chỉ gắn bằng biến môi trường OLLAMA_HOST. Trang FAQ mà chúng tôi đã xem không mô tả bất kỳ cơ chế xác thực nào cho máy chủ Ollama. Phần dưới đây là khuyến nghị của chúng tôi, không phải lời trích từ các tài liệu:
- Giữ Ollama ở địa chỉ mặc định. Nếu máy khác cần dùng, hãy truy cập qua đường hầm SSH thay vì đổi địa chỉ gắn.
- Nếu bạn vẫn gắn nó vào một địa chỉ mạng, hãy giới hạn cổng trong tường lửa chỉ cho các địa chỉ bạn dùng, và không bao giờ mở cho tất cả mọi người.
- Dify được phục vụ tại địa chỉ máy chủ, và bạn tạo tài khoản quản trị từ /install. Hãy làm việc này ngay sau khi các container khởi động, và đặt HTTPS cùng một quy tắc tường lửa phía trước trước khi chia sẻ địa chỉ.
- Giữ các khóa API của nhà cung cấp mô hình trong tệp .env hoặc kho bí mật, và ngoài mọi thứ bạn commit.
Tự lưu trữ hay dùng API?
VPS tốn cùng một khoản mỗi tháng dù bạn có dùng hay không, trong khi API tính phí theo số token bạn gửi và nhận. Nếu khối lượng của bạn thấp, API có thể rẻ hơn việc giữ một máy chủ chạy liên tục. Nếu khối lượng cao và một mô hình nhỏ là đủ, máy chủ có thể có lợi hơn. Hãy nhập khối lượng của riêng bạn và so sánh.
Dùng thử: LLM API Cost Calculator
Chi phí ước tính
Nhập giá và số token để xem chi phí.
Trang giá chính thức
Công cụ chỉ nhân các con số bạn nhập. Nó không biết giá của nhà cung cấp, giảm giá, bộ nhớ đệm, giá theo lô, giá theo bậc hay thuế.
Để biết số token đầu vào của một prompt, hãy dùng Token Counter.
Nguồn
Đọc tiếp
- Gọi mô hình cục bộ từ mã của bạn: structured outputs và API tương thích OpenAI trong OllamaRàng buộc đầu ra của mô hình cục bộ bằng JSON Schema và gọi Ollama từ các client kiểu OpenAI: tài liệu chính thức nói gì và điều gì không được hỗ trợ.
- Mô hình chạy cục bộ làm được gì? Tools, thinking, vision và embedding trong Ollama, và những gì chạy vừa trên VPSTools, thinking, vision, embedding: các nhãn trong thư viện Ollama có nghĩa gì, mô hình nào mang nhãn nào và dung lượng tải về lớn đến đâu.
- Cài Ollama trên VPS và giữ cho nó chạy ổn định: cài đặt, dịch vụ systemd, thiết lập và cập nhậtCài Ollama trên VPS Linux và giữ cho nó chạy ổn định: lệnh cài đặt, dịch vụ systemd, biến môi trường, nơi lưu mô hình và cập nhật, theo tài liệu chính thức.
- LLM chạy cục bộ trên VPS cần bao nhiêu bộ nhớ? Tệp mô hình cộng KV cacheTệp mô hình cộng KV cache: thư viện Ollama, Ollama FAQ và các cấu hình mô hình chính thức nói gì về bộ nhớ mà một LLM chạy cục bộ cần trên VPS.