toolkitbox

~/ / AI 文章 / 在 VPS 上跑本機 LLM / 不買昂貴電腦也能跑本機 LLM：使用 VPS 的新手入門指南

不買昂貴電腦也能跑本機 LLM：使用 VPS 的新手入門指南

想試試本機語言模型，不需要買一台高效能電腦。你可以租一台伺服器（也就是 VPS），把模型安裝在上面，再從任何裝置的瀏覽器與它對話。本指南以六個步驟，帶你從零開始做出一個能運作、而且受到保護的聊天畫面。過程中會用到本站的工具，也會直白地說明沒有 GPU 的 VPS 能保證什麼、不能保證什麼。

發布: · 約 5 分鐘讀完 · 本文的內容已於 2026-10-26 對照官方文件與各 VPS 服務的官方頁面確認。方案、價格與預設值會變動，付款前請再確認一次。

可以期待什麼，不能期待什麼

VPS 是你向資料中心租用的一台電腦。這裡所說的本機 LLM，指的是在這台電腦上執行的模型，而不是透過網際網路呼叫的服務。你的對話會留在由你掌控的伺服器上。

VPS 並不能取代配有高階顯示卡的電腦，本指南也不會這樣宣稱。以下是我們能確認的事，以及無法確認的事。

問題我們的發現
VPS 方案有 GPU 嗎？我們查看的六個 VPS 頁面，沒有任何一個列出 GPU 方案。ConoHa 與 XServer 的頁面是導向另外獨立的 GPU 服務。
那麼模型在哪裡執行？在伺服器的記憶體中，由 CPU 執行。Ollama 的 FAQ 指出，當模型完全載入系統記憶體時，ollama ps 會顯示 100% CPU。
速度有多快？我們不知道。我們查看的文件沒有提供僅用 CPU 運作時的速度數據，我們也沒有實際測量。請先從小型模型開始，自己測試。
什麼決定了能不能跑起來？記憶體。放不進伺服器記憶體的模型，無法順利執行。步驟 1 會說明如何估算。

如果你只是偶爾聊一下，透過網際網路呼叫的付費 AI 服務，可能比整個月都開著的伺服器更便宜。步驟 3 附有試算工具，讓你用自己的數字來比較。

步驟 1：估算需要的記憶體

模型需要記憶體來放置模型檔案、隨對話變長而增加的快取，以及作業系統。下表是我們對六個模型的估算，條件為上下文長度 4,096 個 token、一次處理一個請求，並為系統保留 1 GiB。這些數字是根據 Ollama library 的檔案大小與官方的模型設定計算而來，所以是估算值，不是實測值。

模型估算總量（GiB）最小的常見記憶體容量（GiB）
Qwen3 0.6B1.922
Qwen3 1.7B2.744
Qwen3 4B3.894
Qwen3 8B6.418
Qwen3 14B10.2912
Mistral 7B (v0.3)5.608

試試看: Local LLM Memory Estimator

模型

Ollama 標籤 qwen3:8b,量化 Q4_K_M,下載大小 5.2 GB。

估算結果

模型權重
4.84 GiB
KV cache
0.56 GiB
保留量
1.00 GiB
合計
6.41 GiB (6.88 GB)
容得下的最小常見記憶體容量
8 GiB

這是估算值。其中不包含執行環境的運算緩衝區,並假設每一層的 KV 形狀都相同。在選擇方案之前,請先量測實際執行的情況。

模型資料確認日期:2026-10-26。

資料來源: Ollama library · 模型設定 (config.json) · Ollama FAQ

所有處理都在你的瀏覽器中進行,不會上傳任何內容。

步驟 2：選擇模型

Ollama library 會為每個模型標上它能做什麼。標有 tools 的模型可以呼叫你定義的函式，thinking 會把推理過程與答案分開顯示，vision 可以接受圖片，embedding 則把文字轉成向量以供搜尋。第一次聊天時這些都用不到，所以請先以記憶體來挑選。

標籤Labels下載大小建議規劃的記憶體等級
qwen3:4btools, thinking2.5 GB4 GiB
llama3.2:3btools2.0 GB此處未估算
gemma3:4bvision3.4 GB此處未估算
mistral:7btools4.4 GB8 GiB

下載大小就是模型至少需要的記憶體。沒有估算值的模型不在試算工具的預設清單中，因為試算需要該模型設定中的層數與 head 大小；你可以把它們當成自訂模型自行輸入。

步驟 3：選擇 VPS

先看記憶體，再看存放模型檔案的磁碟，最後看 CPU。磁碟之所以重要，是因為一個模型檔案就有好幾 GB。接著再看服務事先幫你準備了多少環境。在本指南最後列出的六個服務中，ConoHa VPS、KAGOYA CLOUD VPS 與 XServer VPS 的頁面有提到 Dify，ConoHa VPS 的頁面還在啟動腳本中列出 n8n 與 Claude Code。六個服務都沒有列出 Ollama 這類模型伺服器，所以要在步驟 4 自己安裝。

本頁最後的段落會依官方頁面比較這六個服務。在這裡，你可以拿伺服器與透過網際網路呼叫的 AI 服務來比較。

試試看: LLM API Cost Calculator

Model A
Model B(選填,用於比較)
用量

估算費用

輸入價格與 token 數,即可看到費用。

官方價格頁面

這裡只是把你輸入的數字相乘。它不知道廠商的價格、折扣、快取、批次價格、階梯式計價或稅金。

若要查看提示詞的輸入 token 數,請使用 Token Counter。

步驟 4：安裝 Ollama

以下是 Ollama 官方文件中針對 Linux 的指令。在重要的伺服器上執行腳本之前，請先讀過內容。

步驟指令
安裝curl -fsSL https://ollama.com/install.sh | sh
確認是否在運作ollama -v
執行 library 中的模型ollama run qwen3:4b

若要讓 Ollama 在開機時啟動並持續運作，文件中說明了 systemd 服務的做法。完整步驟、設定與更新方式，請見接近最後所列的詳細文章。

步驟 5：在瀏覽器中聊天

在終端機輸入就足以測試模型。若要日常使用，Open WebUI 能提供瀏覽器中的聊天畫面。它的快速入門只要一行指令就能執行，並在 http://localhost:3000 提供服務。請把 your-secret-key 換成你用 openssl rand -hex 32 產生的值。

步驟指令
啟動 Open WebUIdocker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 你建立的第一個帳號就是管理員，管理員帳號建立後，註冊功能會自動關閉。請立刻建立。
  • 文件中介紹了兩種把 Open WebUI 連接到 Ollama 的方式，詳細文章會兩者都說明。

步驟 6：保持私密

Ollama 預設監聽 127.0.0.1 的 port 11434，這是最安全的設定，而且它的文件並未說明它本身有任何驗證機制。這是我們的建議，並非文件中的說法：請不要把該連接埠對網際網路開放。請在前面放上 nginx，加上密碼與 HTTPS，並使用只允許你所用位址的防火牆。

  • 請不要把密鑰與密碼放進要提交（commit）的內容中。
  • 請定期更新 Ollama 與 Open WebUI，更新時要保留 Open WebUI 的資料 volume。

深入閱讀

  1. 1在 VPS 上跑本機 LLM 需要多少記憶體?模型檔加上 KV cache模型檔加上 KV cache:Ollama 函式庫、Ollama FAQ 與官方模型設定檔,對在 VPS 上跑本機 LLM 所需的記憶體有哪些說明。
  2. 2本機模型能做什麼？Ollama 的 tools、thinking、vision 與 embedding，以及 VPS 跑得動什麼tools、thinking、vision、embedding：Ollama 模型庫中的標籤代表什麼、哪些模型帶有這些標籤，以及下載大小有多大。
  3. 3在 VPS 上安裝 Ollama 並讓它持續運作:安裝、systemd 服務、設定與更新在 Linux VPS 上安裝 Ollama 並讓它持續運作:依官方文件整理安裝指令、systemd 服務、環境變數、模型儲存位置與更新方式。
  4. 4在 VPS 上用 Docker 執行 Open WebUI，並連接 Ollama在自己的伺服器上用 Docker 執行 Open WebUI 並連接 Ollama：指令、第一個帳號、兩種連線類型與更新方式。
  5. 5在 Ollama 前面放 nginx：基本驗證、HTTPS 與串流設定從外部安全地連到 Ollama：以 nginx 作為代理、基本驗證、HTTPS、串流與逾時設定，以及防火牆規則，內容皆出自官方文件。
  6. 6在自己的 VPS 上跑 AI:該預留多少記憶體,哪些東西不能對外開放打算在 VPS 上跑 Ollama 或 Dify?整理官方文件對記憶體、僅用 CPU 推論以及必須關閉的連接埠的說明。

資料來源

接著閱讀