~/ / Bài viết về AI / LLM cục bộ trên VPS
Các bài viết về cách chạy mô hình ngôn ngữ trên máy chủ của riêng bạn: dung lượng bộ nhớ cần có, cài đặt, thiết lập và những gì mỗi mô hình làm được. Chỉ viết dựa trên tài liệu chính thức của Ollama và của các nhà phát triển mô hình.
Chạy Open WebUI bằng Docker và kết nối với Ollama trên máy chủ của chính bạn: các lệnh, tài khoản đầu tiên, hai kiểu kết nối và cách cập nhật.
Đăng: Công cụ có thể dùng: Local LLM Memory Estimator
Ràng buộc đầu ra của mô hình cục bộ bằng JSON Schema và gọi Ollama từ các client kiểu OpenAI: tài liệu chính thức nói gì và điều gì không được hỗ trợ.
Đăng: Công cụ có thể dùng: JSON Schema Validator, LLM JSON Repair
Tools, thinking, vision, embedding: các nhãn trong thư viện Ollama có nghĩa gì, mô hình nào mang nhãn nào và dung lượng tải về lớn đến đâu.
Đăng: Công cụ có thể dùng: Local LLM Memory Estimator
Cài Ollama trên VPS Linux và giữ cho nó chạy ổn định: lệnh cài đặt, dịch vụ systemd, biến môi trường, nơi lưu mô hình và cập nhật, theo tài liệu chính thức.
Đăng: Công cụ có thể dùng: Local LLM Memory Estimator
Tệp mô hình cộng KV cache: thư viện Ollama, Ollama FAQ và các cấu hình mô hình chính thức nói gì về bộ nhớ mà một LLM chạy cục bộ cần trên VPS.
Đăng: Công cụ có thể dùng: Local LLM Memory Estimator
Định chạy Ollama hoặc Dify trên VPS? Tài liệu chính thức nói gì về bộ nhớ, suy luận chỉ bằng CPU và những cổng cần giữ đóng.
Đăng: Công cụ có thể dùng: LLM API Cost Calculator