小さなVPSでOllamaのメモリを見張る
Ollamaがメモリに何を載せ、どれだけの間そこに置き、どの設定で変わるのかを見ます。ollama ps、keep_alive、各種の上限を、公式FAQから。
公開: 使えるツール: Local LLM Memory Estimator
~/ / ローカルLLMをサーバーで動かす
ローカルLLMをサーバーで動かす
Ollama を自分のパソコンや VPS で動かすときに使うツールを、使う順に並べました。モデルに要るメモリを見積もり、systemd で常駐させ、nginx の後ろで安全に公開し、API を呼び出します。うまく動かないときは、応答・モデルの情報・サーバーのログを読み解きます。
使う順に並べたツール
- ローカルLLMに必要なメモリを見積もるLocal LLM Memory EstimatorVPSでローカルLLMを動かすのに必要なメモリを、モデルファイルとKVキャッシュから見積もる
- Ollama の systemd 設定を作るOllama systemd Override GeneratorOllama の環境変数用の systemd オーバーライドを、systemd が読むとおりの引用符付きで作ります
- Ollama を守る nginx 設定を作るOllama nginx Config GeneratorHTTPS、パスワード、ストリーミングに対応した Ollama 用の nginx server ブロックを作ります
- /api/chat への curl リクエストを作るOllama API Request Builderformat、tools、think、options を指定して Ollama の /api/chat への curl リクエストを作ります
- Ollama と OpenAI 互換 API の形式を変換Ollama OpenAI Converterチャットのリクエストとレスポンスを Ollama /api/chat と /v1/chat/completions の間で変換
- Ollama のストリームを結合し、速度と停止理由を確認Ollama Stream Readerストリーミングされた Ollama のレスポンスを結合し、停止理由と速度を確認
- ollama show からコンテキストと機能を読むOllama Model Info Readerollama show や /api/show を読む: コンテキスト、レイヤー、できること、ライセンス、KV キャッシュのサイズ
- Ollama のログからメモリ・GPU・速度を読むOllama Log ReaderOllama のサーバーログを読む: モデルごとのメモリ、GPU レイヤー、コンテキスト、速度、警告
この話題の記事
自分のVPSでDifyとOllamaをつなぐ
自分のVPSでDifyを動かし、モデルにOllamaを使う方法です。インストール、プラグインの入力欄、Dockerのアドレスの問題、埋め込みを公式ドキュメントからまとめました。
公開: 使えるツール: Local LLM Memory Estimator
高価なPCなしでローカルLLMを始める:VPSを使う初心者ガイド
高性能なPCがなくても大丈夫。VPSを借りて、小さなローカルLLMをブラウザから動かす6ステップ。メモリの見積もりから、外から守られたチャット画面まで、限界も正直に書いています。
公開: 使えるツール: Local LLM Memory Estimator, LLM API Cost Calculator
VPS上のOpen WebUI:Dockerで動かし、Ollamaにつなぐ
自分のサーバーでOpen WebUIをDockerで動かし、Ollamaにつなぐ方法。コマンド、最初のアカウント、2種類の接続、更新のしかたを紹介します。
公開: 使えるツール: Local LLM Memory Estimator
ローカルモデルを自分のコードから呼び出す: Ollama の構造化出力と OpenAI 互換 API
JSON Schema でローカルモデルの出力を制約し、OpenAI 形式のクライアントから Ollama を呼び出す方法。公式ドキュメントの内容と、未対応の機能をまとめました。
公開: 使えるツール: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
ローカルモデルには何ができる?Ollamaのtools・thinking・vision・embeddingと、VPSに載るモデル
tools、thinking、vision、embedding。Ollamaライブラリのラベルの意味と、付いているモデル、ダウンロードサイズの目安。
公開: 使えるツール: Local LLM Memory Estimator