在小型 VPS 上監看 Ollama 的記憶體使用
查看 Ollama 在記憶體中載入了什麼、保留多久，以及哪些設定會改變記憶體用量：ollama ps、keep_alive 與各項上限，內容出自官方 FAQ。
發布: 可使用的工具: Local LLM Memory Estimator
~/ / 在自己的伺服器上執行本機 LLM
在自己的伺服器上執行本機 LLM
依使用順序整理了在自己的電腦或 VPS 上執行 Ollama 時會用到的工具。估算模型所需的記憶體，用 systemd 讓伺服器持續執行，透過 nginx 安全地對外公開，並呼叫它的 API。遇到無法正常運作的情況時，可以查看它的回應、模型的詳細資訊與伺服器記錄。
依使用順序排列的工具
- 估算本機 LLM 需要的記憶體:模型檔案加上 KV cacheLocal LLM Memory Estimator估算 VPS 上的本機 LLM 需要多少記憶體:模型檔案加上 KV cache
- 建立 Ollama 的 systemd 覆寫設定：OLLAMA_HOST、OLLAMA_MODELS、KEEP_ALIVE 等Ollama systemd Override Generator建立 Ollama 環境變數的 systemd 覆寫設定，並依 systemd 讀取的方式加上引號
- 建立 Ollama 的 nginx 設定：HTTPS、基本驗證、允許清單、串流Ollama nginx Config Generator建立 Ollama 專用的 nginx server 區塊，包含 HTTPS、密碼與串流
- 建立送往 Ollama /api/chat 的 curl 請求：format、tools、think、optionsOllama API Request Builder建立送往 Ollama /api/chat 的 curl 請求，包含 format、tools、think 與 options
- 在 Ollama /api/chat 與 /v1/chat/completions 之間轉換聊天請求與回應Ollama OpenAI Converter在 Ollama /api/chat 與 /v1/chat/completions 之間轉換聊天請求與回應
- 組合 Ollama 串流，查看速度與停止原因Ollama Stream Reader把串流的 Ollama 回應重新組合，並查看它為何停止、跑得多快
- 讀取 ollama show:上下文、層數、能力、授權、KV cacheOllama Model Info Reader讀取 ollama show 或 /api/show:上下文、層數、能力、授權與 KV cache 大小
- 讀取 Ollama 伺服器記錄：記憶體、GPU 層數、上下文、速度、警告Ollama Log Reader讀取 Ollama 伺服器記錄：每次模型載入的記憶體、GPU 層數、上下文、速度與警告
這個主題的文章
在自己的 VPS 上將 Dify 連接到 Ollama
在自己的 VPS 上執行 Dify，並以 Ollama 作為模型：依官方文件說明安裝、外掛欄位、Docker 位址問題與 embedding。
發布: 可使用的工具: Local LLM Memory Estimator
不買昂貴電腦也能跑本機 LLM：使用 VPS 的新手入門指南
沒有高效能電腦？租一台 VPS，從瀏覽器執行小型本機 LLM：從估算記憶體到受保護的聊天畫面共六個步驟，並誠實說明其限制。
發布: 可使用的工具: Local LLM Memory Estimator, LLM API Cost Calculator
在 VPS 上用 Docker 執行 Open WebUI，並連接 Ollama
在自己的伺服器上用 Docker 執行 Open WebUI 並連接 Ollama：指令、第一個帳號、兩種連線類型與更新方式。
發布: 可使用的工具: Local LLM Memory Estimator
在自己的程式中呼叫本機模型：Ollama 的結構化輸出與 OpenAI-compatible API
用 JSON Schema 限制本機模型的輸出，並從 OpenAI 風格的用戶端呼叫 Ollama：官方文件怎麼說，以及哪些功能不支援。
發布: 可使用的工具: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
本機模型能做什麼？Ollama 的 tools、thinking、vision 與 embedding，以及 VPS 跑得動什麼
tools、thinking、vision、embedding：Ollama 模型庫中的標籤代表什麼、哪些模型帶有這些標籤，以及下載大小有多大。
發布: 可使用的工具: Local LLM Memory Estimator