在 VPS 上用 Docker 執行 Open WebUI，並連接 Ollama
在自己的伺服器上用 Docker 執行 Open WebUI 並連接 Ollama：指令、第一個帳號、兩種連線類型與更新方式。
發布: 可使用的工具: Local LLM Memory Estimator
在 VPS 上跑本機 LLM
介紹如何在自己的伺服器上執行語言模型的文章:所需記憶體、安裝、設定,以及各個模型能做什麼。內容只依據 Ollama 與模型提供者的官方文件撰寫。
在自己的程式中呼叫本機模型：Ollama 的結構化輸出與 OpenAI-compatible API
用 JSON Schema 限制本機模型的輸出，並從 OpenAI 風格的用戶端呼叫 Ollama：官方文件怎麼說，以及哪些功能不支援。
發布: 可使用的工具: JSON Schema Validator, LLM JSON Repair
本機模型能做什麼？Ollama 的 tools、thinking、vision 與 embedding，以及 VPS 跑得動什麼
tools、thinking、vision、embedding：Ollama 模型庫中的標籤代表什麼、哪些模型帶有這些標籤，以及下載大小有多大。
發布: 可使用的工具: Local LLM Memory Estimator
在 VPS 上安裝 Ollama 並讓它持續運作:安裝、systemd 服務、設定與更新
在 Linux VPS 上安裝 Ollama 並讓它持續運作:依官方文件整理安裝指令、systemd 服務、環境變數、模型儲存位置與更新方式。
發布: 可使用的工具: Local LLM Memory Estimator
在 VPS 上跑本機 LLM 需要多少記憶體?模型檔加上 KV cache
模型檔加上 KV cache:Ollama 函式庫、Ollama FAQ 與官方模型設定檔,對在 VPS 上跑本機 LLM 所需的記憶體有哪些說明。
發布: 可使用的工具: Local LLM Memory Estimator
在自己的 VPS 上跑 AI:該預留多少記憶體,哪些東西不能對外開放
打算在 VPS 上跑 Ollama 或 Dify?整理官方文件對記憶體、僅用 CPU 推論以及必須關閉的連接埠的說明。
發布: 可使用的工具: LLM API Cost Calculator