~/ / Chạy LLM cục bộ trên máy chủ của bạn

Chạy LLM cục bộ trên máy chủ của bạn

Các công cụ để chạy Ollama trên máy tính của bạn hoặc trên VPS, xếp theo thứ tự bạn cần dùng. Ước tính bộ nhớ mà mô hình cần, giữ máy chủ luôn chạy bằng systemd, công khai an toàn sau nginx và gọi API của nó. Khi có gì đó không hoạt động, hãy đọc phản hồi, thông tin về mô hình và nhật ký máy chủ.

Các công cụ, theo thứ tự bạn dùng

  1. Ước tính bộ nhớ LLM cục bộ cần: tệp mô hình cộng KV cacheLocal LLM Memory EstimatorƯớc tính bộ nhớ mà một LLM cục bộ cần trên VPS: tệp mô hình cộng KV cache
  2. Tạo override systemd cho Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE và hơn thế nữaOllama systemd Override GeneratorTạo tệp override systemd cho các biến môi trường của Ollama, đặt trong ngoặc kép theo đúng cách systemd đọc
  3. Tạo cấu hình nginx cho Ollama: HTTPS, xác thực cơ bản, danh sách được phép, truyền luồngOllama nginx Config GeneratorTạo khối server của nginx cho Ollama với HTTPS, mật khẩu và truyền luồng
  4. Tạo yêu cầu curl đến /api/chat của Ollama: format, tools, think, optionsOllama API Request BuilderTạo yêu cầu curl đến /api/chat của Ollama với format, tools, think và options
  5. Chuyển yêu cầu và phản hồi chat giữa /api/chat của Ollama và /v1/chat/completionsOllama OpenAI ConverterChuyển yêu cầu và phản hồi chat giữa /api/chat của Ollama và /v1/chat/completions
  6. Ghép luồng Ollama và xem tốc độ cùng lý do dừngOllama Stream ReaderGhép lại một phản hồi dạng luồng của Ollama và xem vì sao nó dừng và chạy nhanh đến đâu
  7. Đọc ollama show: ngữ cảnh, số lớp, khả năng, giấy phép, KV cacheOllama Model Info ReaderĐọc ollama show hoặc /api/show: ngữ cảnh, số lớp, khả năng, giấy phép và dung lượng KV cache
  8. Đọc log máy chủ Ollama: bộ nhớ, lớp trên GPU, ngữ cảnh, tốc độ, cảnh báoOllama Log ReaderĐọc log máy chủ Ollama: bộ nhớ mỗi lần tải mô hình, lớp trên GPU, ngữ cảnh, tốc độ và cảnh báo

Bài viết về chủ đề này

Các chủ đề khác