toolkitbox

~/ / AI 文章 / 在 VPS 上跑本機 LLM / 在自己的 VPS 上跑 AI:該預留多少記憶體,哪些東西不能對外開放

在自己的 VPS 上跑 AI:該預留多少記憶體,哪些東西不能對外開放

在租用的 VPS 上跑語言模型或 AI 應用程式建構工具,很有吸引力:月費固定,資料也留在自己掌控的伺服器上。但你選的方案決定了它能不能跑得起來,而預設安裝也可能讓某個服務從網際網路就能連到。本文整理 Ollama 與 Dify 官方文件對記憶體、僅用 CPU 運作與網路暴露的說明,讓你在付費之前先選好方案。

發布: · 約 4 分鐘讀完 · 已於 2026-10-26 對照官方文件確認。版本與預設值會變動,安裝前請以最新文件為準。

記憶體裡要放得下什麼

模型的下載大小只是它所需記憶體的最小值,並不是你該預留的量。Ollama 資源庫列出了每個標籤的下載大小。例如 Llama 3.2 的 1b 標籤為 1.3 GB,3b 標籤為 2.0 GB,兩者的上下文視窗都是 128K。

除了模型本身,記憶體還會隨上下文增加。Ollama FAQ 指出,所需的 RAM 會依 OLLAMA_NUM_PARALLEL 乘以 OLLAMA_CONTEXT_LENGTH 成比例增加,並舉例:2K 的上下文搭配 4 個平行請求,就會變成 8K 的上下文,需要額外的記憶體。FAQ 也提到,以 q8_0 量化鍵值快取,所用記憶體約為 f16 的一半,q4_0 則約為四分之一。

模型標籤下載大小上下文視窗
llama3.2:1b1.3 GB128K
llama3.2:3b2.0 GB128K
  • Ollama FAQ 給出的預設上下文視窗是 4096 個 token,而上下文長度頁面說預設值取決於你的 GPU 的 VRAM(低於 24 GiB 時為 4k)。請確認你的安裝實際使用的值。
  • 我們確認過的 Ollama README 並未列出各模型大小所需的 RAM。與其猜測,不如實際量測:以你打算使用的上下文長度載入模型,送出一個提示,然後觀察伺服器的記憶體用量。
  • 請替作業系統以及同一台伺服器上的其他所有服務留出空間。

下載大小是在上述日期從 Ollama 資源庫頁面讀取的。它們是檔案大小,不是實際量測的記憶體用量。

沒有 GPU:僅用 CPU 是什麼意思

大多數 VPS 方案沒有 GPU,所以模型會在 CPU 與系統記憶體上執行。Ollama FAQ 說明了這種情況:當模型完全載入系統記憶體時,ollama ps 會在 PROCESSOR 欄位顯示 100% CPU,而 CPU 推論時 OLLAMA_MAX_LOADED_MODELS 的預設值是 3。

文件中沒有給出僅用 CPU 運作時的速度數據,我們也沒有量測。請從能完成你的任務的最小模型開始,先測試幾天,再決定要不要簽更長的合約。

在 VPS 上跑 Dify

Dify 可以用 Docker Compose 自行架設。其文件列出了最低系統需求,這是最低需求,並不是建議配置:

  • CPU:2 核心以上
  • RAM:4 GiB 以上
  • Linux:Docker 19.03 以上,以及 Docker Compose 2.24.0 以上
步驟要做的事
1複製 Dify 儲存庫,並進入 dify/docker 目錄
2將 .env.example 複製為 .env
3用 openssl rand -base64 32 產生一組 token,並在 .env 中將它設為 DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN
4執行 docker compose up -d
5檢查 docker compose ps:容器應顯示 Up 或 healthy
6在你的伺服器上開啟 /install 建立管理員帳號,然後登入

我們確認過的 Dify 頁面並未提到 Ollama 或本機模型。如果同一台伺服器同時跑 Dify 與本機模型,請把兩者的記憶體都計算進去(這是我們對兩份文件的解讀,不是其中任何一份文件給出的數字)。

哪些東西不能對網際網路開放

Ollama FAQ 指出,Ollama 預設綁定 127.0.0.1 的 11434 連接埠,並可用 OLLAMA_HOST 環境變數變更綁定位址。我們確認過的 FAQ 頁面並未說明 Ollama 伺服器有任何驗證機制。以下是我們的建議,不是文件中的說法:

  • 讓 Ollama 維持預設位址。如果其他機器需要連線,請透過 SSH 通道連接,而不要變更綁定位址。
  • 如果你確實把它綁定到網路位址,請在防火牆中將該連接埠限制為你使用的位址,絕對不要對所有人開放。
  • Dify 會在伺服器位址上提供服務,而管理員帳號要從 /install 建立。請在容器啟動後立刻完成這件事,並在分享位址之前,先在前面加上 HTTPS 與防火牆規則。
  • 模型供應商的 API 金鑰請放在 .env 檔或密鑰儲存區,不要放進任何你會提交的內容裡。

自行架設,還是用 API?

不論你有沒有使用,VPS 每個月的費用都一樣;API 則是依你送出與接收的 token 計費。如果用量很低,API 可能比讓伺服器一直開著更便宜。如果用量很高,而且小型模型就夠用,伺服器可能更划算。請填入你自己的用量來比較。

試試看: LLM API Cost Calculator

Model A
Model B(選填,用於比較)
用量

估算費用

輸入價格與 token 數,即可看到費用。

官方價格頁面

這裡只是把你輸入的數字相乘。它不知道廠商的價格、折扣、快取、批次價格、階梯式計價或稅金。

若要查看提示詞的輸入 token 數,請使用 Token Counter。

資料來源

接著閱讀