~/ / Ejecutar un LLM local en tu servidor

Ejecutar un LLM local en tu servidor

Herramientas para ejecutar Ollama en tu propio ordenador o en un VPS, en el orden en que las necesitas. Estima la memoria que necesita un modelo, mantén el servidor en marcha con systemd, publícalo de forma segura detrás de nginx y llama a su API. Cuando algo no funciona, lee sus respuestas, los detalles del modelo y el registro del servidor.

Herramientas, en el orden en que se usan

  1. Estima la memoria de un LLM local: archivo del modelo más caché KVLocal LLM Memory EstimatorEstima la memoria que necesita un LLM local en un VPS: archivo del modelo más caché KV
  2. Crea el override de systemd de Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE y másOllama systemd Override GeneratorCrea el override de systemd para las variables de entorno de Ollama, entrecomilladas como las lee systemd
  3. Crea una configuración de nginx para Ollama: HTTPS, autenticación básica, lista de permitidas, streamingOllama nginx Config GeneratorCrea un bloque server de nginx para Ollama con HTTPS, contraseña y streaming
  4. Crea una petición curl a /api/chat de Ollama: format, tools, think, optionsOllama API Request BuilderCrea una petición curl a /api/chat de Ollama con format, tools, think y options
  5. Convierte solicitudes y respuestas de chat entre Ollama /api/chat y /v1/chat/completionsOllama OpenAI ConverterConvierte solicitudes y respuestas de chat entre Ollama /api/chat y /v1/chat/completions
  6. Une un stream de Ollama y mira su velocidad y motivo de paradaOllama Stream ReaderUne de nuevo una respuesta en streaming de Ollama y mira por qué se detuvo y a qué velocidad fue
  7. Lee ollama show: contexto, capas, capacidades, licencia, caché KVOllama Model Info ReaderLee ollama show o /api/show: contexto, capas, capacidades, licencia y tamaño de la caché KV
  8. Lee un log de Ollama: memoria, capas en la GPU, contexto, velocidadOllama Log ReaderLee un log del servidor de Ollama: memoria por carga de modelo, capas en la GPU, contexto, velocidad y advertencias

Artículos de este tema

Otros temas