~/ / Bài viết về AI / LLM cục bộ trên VPS / Chạy LLM cục bộ mà không cần PC đắt tiền: hướng dẫn dùng VPS cho người mới
Chạy LLM cục bộ mà không cần PC đắt tiền: hướng dẫn dùng VPS cho người mới
Bạn không cần mua một chiếc máy tính mạnh để thử một mô hình ngôn ngữ cục bộ. Bạn có thể thuê một máy chủ, gọi là VPS, cài mô hình lên đó và trò chuyện với nó từ trình duyệt của bất kỳ thiết bị nào. Hướng dẫn này đưa bạn đi từ con số không đến một màn hình chat chạy được và được bảo vệ, qua sáu bước. Trên đường đi, bài dùng các công cụ của trang này, và nói thẳng những gì một VPS không có GPU làm được và không làm được.
Đăng: · 6 phút đọc · Các thông tin được đối chiếu với tài liệu chính thức và các trang chính thức của các dịch vụ VPS vào ngày 2026-10-26. Gói cước, giá và cài đặt mặc định có thể thay đổi, vì vậy hãy kiểm tra lại trước khi thanh toán.
Những gì bạn có thể kỳ vọng và những gì không
VPS là một chiếc máy tính đặt trong trung tâm dữ liệu mà bạn thuê. LLM cục bộ ở đây là một mô hình chạy ngay trên chiếc máy tính đó, chứ không phải một dịch vụ mà bạn gọi qua internet. Các cuộc trò chuyện của bạn nằm trên một máy chủ do bạn kiểm soát.
VPS không thay thế được một chiếc PC có card đồ họa mạnh, và hướng dẫn này không nói như vậy. Dưới đây là những điều chúng tôi xác nhận được và những điều chúng tôi không xác nhận được.
| Câu hỏi | Những gì chúng tôi tìm thấy |
|---|---|
| Các gói VPS có GPU không? | Không có trang nào trong sáu trang VPS mà chúng tôi đã kiểm tra liệt kê gói có GPU. Các trang của ConoHa và XServer dẫn sang những dịch vụ GPU riêng. |
| Vậy mô hình chạy ở đâu? | Trong bộ nhớ của máy chủ, trên CPU. Phần FAQ của Ollama cho biết ollama ps hiển thị 100% CPU khi mô hình được nạp hoàn toàn vào bộ nhớ hệ thống. |
| Tốc độ nhanh đến đâu? | Chúng tôi không biết. Các tài liệu mà chúng tôi đã kiểm tra không đưa ra con số tốc độ nào cho việc chạy chỉ bằng CPU, và chúng tôi cũng không tự đo. Hãy bắt đầu với một mô hình nhỏ và tự thử. |
| Điều gì quyết định mô hình có chạy được hay không? | Bộ nhớ. Một mô hình không vừa với bộ nhớ của máy chủ sẽ không chạy tốt. Bước 1 chỉ cách ước tính. |
Nếu bạn chỉ thỉnh thoảng mới trò chuyện, một dịch vụ AI trả phí mà bạn gọi qua internet có thể rẻ hơn một máy chủ chạy suốt cả tháng. Bước 3 có một công cụ tính để bạn so sánh bằng chính số liệu của mình.
Bước 1: ước tính bộ nhớ bạn cần
Một mô hình cần bộ nhớ cho tệp của nó, cho bộ đệm tăng dần theo độ dài cuộc trò chuyện, và cho hệ điều hành. Bảng dưới đây là ước tính của chúng tôi cho sáu mô hình với độ dài ngữ cảnh 4,096 token, mỗi lần xử lý một yêu cầu, và để dành 1 GiB cho hệ thống. Các ước tính được tính từ kích thước trong thư viện Ollama và cấu hình mô hình chính thức, nên chúng là ước tính chứ không phải số đo thực tế.
| Mô hình | Tổng ước tính (GiB) | Dung lượng bộ nhớ phổ biến nhỏ nhất (GiB) |
|---|---|---|
| Qwen3 0.6B | 1.92 | 2 |
| Qwen3 1.7B | 2.74 | 4 |
| Qwen3 4B | 3.89 | 4 |
| Qwen3 8B | 6.41 | 8 |
| Qwen3 14B | 10.29 | 12 |
| Mistral 7B (v0.3) | 5.60 | 8 |
Dùng thử: Local LLM Memory Estimator
Ước tính
- Trọng số mô hình
- 4.84 GiB
- KV cache
- 0.56 GiB
- Dự trữ
- 1.00 GiB
- Tổng
- 6.41 GiB (6.88 GB)
- Dung lượng bộ nhớ phổ biến nhỏ nhất chứa vừa
- 8 GiB
Đây là một ước tính. Nó không bao gồm các bộ đệm tính toán của runtime, và giả định mọi lớp có cùng hình dạng KV. Hãy đo một lần chạy thật trước khi chọn gói.
Dữ liệu mô hình được kiểm tra ngày 2026-10-26.
Nguồn: Ollama library · Cấu hình mô hình (config.json) · Ollama FAQ
Mọi thứ chạy trong trình duyệt của bạn. Không có gì được tải lên.
Bước 2: chọn một mô hình
Thư viện Ollama gắn nhãn cho từng mô hình theo những gì nó làm được. Mô hình có nhãn tools có thể gọi các hàm do bạn định nghĩa, thinking hiển thị phần suy luận tách riêng khỏi câu trả lời, vision nhận hình ảnh, và embedding biến văn bản thành vector để tìm kiếm. Với cuộc trò chuyện đầu tiên, bạn không cần cái nào trong số đó, vì vậy hãy chọn theo bộ nhớ trước.
| Tag | Labels | Dung lượng tải về | Nhóm bộ nhớ cần dự trù |
|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 4 GiB |
| llama3.2:3b | tools | 2.0 GB | chưa ước tính ở đây |
| gemma3:4b | vision | 3.4 GB | chưa ước tính ở đây |
| mistral:7b | tools | 4.4 GB | 8 GiB |
Dung lượng tải về là lượng bộ nhớ tối thiểu mà một mô hình cần. Các mô hình chưa có ước tính không nằm trong các cấu hình có sẵn của công cụ tính, vì công cụ cần số lớp và kích thước head trong cấu hình của mô hình; bạn có thể tự nhập chúng như một mô hình tùy chỉnh.
Bước 3: chọn một VPS
Hãy xem bộ nhớ trước, rồi đến ổ đĩa để chứa các tệp mô hình, rồi mới đến CPU. Ổ đĩa quan trọng vì một tệp mô hình nặng vài gigabyte. Sau đó hãy xem dịch vụ đã chuẩn bị sẵn bao nhiêu phần của việc thiết lập. Trong sáu dịch vụ ở cuối hướng dẫn này, các trang của ConoHa VPS, KAGOYA CLOUD VPS và XServer VPS có nhắc đến Dify, và trang của ConoHa VPS còn liệt kê n8n và Claude Code trong số các script khởi động của nó. Không dịch vụ nào trong sáu dịch vụ liệt kê một máy chủ mô hình như Ollama, nên bạn tự cài nó ở Bước 4.
Phần ở cuối trang này so sánh sáu dịch vụ dựa trên các trang chính thức của chúng. Còn ở đây, bạn có thể so sánh một máy chủ với một dịch vụ AI mà bạn gọi qua internet.
Dùng thử: LLM API Cost Calculator
Chi phí ước tính
Nhập giá và số token để xem chi phí.
Trang giá chính thức
Công cụ chỉ nhân các con số bạn nhập. Nó không biết giá của nhà cung cấp, giảm giá, bộ nhớ đệm, giá theo lô, giá theo bậc hay thuế.
Để biết số token đầu vào của một prompt, hãy dùng Token Counter.
Bước 4: cài đặt Ollama
Đây là các lệnh trong tài liệu chính thức của Ollama dành cho Linux. Hãy đọc một script trước khi chạy nó trên một máy chủ quan trọng.
| Bước | Lệnh |
|---|---|
| Cài đặt | curl -fsSL https://ollama.com/install.sh | sh |
| Kiểm tra xem nó có chạy không | ollama -v |
| Chạy một mô hình từ thư viện | ollama run qwen3:4b |
Để Ollama tự khởi động khi bật máy và luôn chạy, tài liệu mô tả cách dùng một dịch vụ systemd. Các bước đầy đủ, phần cài đặt và việc cập nhật nằm trong các bài chi tiết được liệt kê gần cuối trang.
Bước 5: trò chuyện trong trình duyệt
Gõ trong terminal là đủ để thử một mô hình. Để dùng hằng ngày, Open WebUI cho bạn một màn hình chat trong trình duyệt. Phần quick start của nó chạy chỉ bằng một lệnh và phục vụ tại http://localhost:3000. Hãy thay your-secret-key bằng một giá trị do bạn tạo bằng openssl rand -hex 32.
| Bước | Lệnh |
|---|---|
| Khởi động Open WebUI | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
- Tài khoản đầu tiên bạn tạo là quản trị viên, và chức năng đăng ký tự tắt khi tài khoản quản trị đã tồn tại. Hãy tạo nó ngay.
- Hướng dẫn chỉ ra hai cách kết nối Open WebUI với Ollama, và bài chi tiết giải thích cả hai.
Bước 6: giữ cho nó riêng tư
Mặc định Ollama lắng nghe ở 127.0.0.1 port 11434, đây là thiết lập an toàn nhất, và tài liệu của nó không mô tả cơ chế xác thực riêng nào. Khuyến nghị của chúng tôi, không phải lời trong tài liệu: đừng mở cổng đó ra internet. Hãy đặt nginx phía trước với mật khẩu và HTTPS, và dùng tường lửa chỉ cho phép những địa chỉ bạn sử dụng.
- Đừng để khóa bí mật và mật khẩu lọt vào bất cứ thứ gì bạn commit.
- Thỉnh thoảng hãy cập nhật Ollama và Open WebUI, và giữ nguyên volume dữ liệu của Open WebUI khi làm vậy.
Tìm hiểu sâu hơn
- 1LLM chạy cục bộ trên VPS cần bao nhiêu bộ nhớ? Tệp mô hình cộng KV cacheTệp mô hình cộng KV cache: thư viện Ollama, Ollama FAQ và các cấu hình mô hình chính thức nói gì về bộ nhớ mà một LLM chạy cục bộ cần trên VPS.
- 2Mô hình chạy cục bộ làm được gì? Tools, thinking, vision và embedding trong Ollama, và những gì chạy vừa trên VPSTools, thinking, vision, embedding: các nhãn trong thư viện Ollama có nghĩa gì, mô hình nào mang nhãn nào và dung lượng tải về lớn đến đâu.
- 3Cài Ollama trên VPS và giữ cho nó chạy ổn định: cài đặt, dịch vụ systemd, thiết lập và cập nhậtCài Ollama trên VPS Linux và giữ cho nó chạy ổn định: lệnh cài đặt, dịch vụ systemd, biến môi trường, nơi lưu mô hình và cập nhật, theo tài liệu chính thức.
- 4Open WebUI trên VPS: chạy bằng Docker và kết nối với OllamaChạy Open WebUI bằng Docker và kết nối với Ollama trên máy chủ của chính bạn: các lệnh, tài khoản đầu tiên, hai kiểu kết nối và cách cập nhật.
- 5Đặt nginx phía trước Ollama: xác thực cơ bản, HTTPS và cài đặt streamingTruy cập Ollama từ bên ngoài một cách an toàn: nginx làm proxy, xác thực cơ bản, HTTPS, cài đặt streaming và timeout, cùng một quy tắc tường lửa, theo tài liệu chính thức.
- 6Chạy AI trên VPS của riêng bạn: cần dự trù bao nhiêu bộ nhớ và không nên mở ra ngoài những gìĐịnh chạy Ollama hoặc Dify trên VPS? Tài liệu chính thức nói gì về bộ nhớ, suy luận chỉ bằng CPU và những cổng cần giữ đóng.
Nguồn
Đọc tiếp
- Đặt nginx phía trước Ollama: xác thực cơ bản, HTTPS và cài đặt streamingTruy cập Ollama từ bên ngoài một cách an toàn: nginx làm proxy, xác thực cơ bản, HTTPS, cài đặt streaming và timeout, cùng một quy tắc tường lửa, theo tài liệu chính thức.
- Open WebUI trên VPS: chạy bằng Docker và kết nối với OllamaChạy Open WebUI bằng Docker và kết nối với Ollama trên máy chủ của chính bạn: các lệnh, tài khoản đầu tiên, hai kiểu kết nối và cách cập nhật.
- Gọi mô hình cục bộ từ mã của bạn: structured outputs và API tương thích OpenAI trong OllamaRàng buộc đầu ra của mô hình cục bộ bằng JSON Schema và gọi Ollama từ các client kiểu OpenAI: tài liệu chính thức nói gì và điều gì không được hỗ trợ.
- Mô hình chạy cục bộ làm được gì? Tools, thinking, vision và embedding trong Ollama, và những gì chạy vừa trên VPSTools, thinking, vision, embedding: các nhãn trong thư viện Ollama có nghĩa gì, mô hình nào mang nhãn nào và dung lượng tải về lớn đến đâu.