~/ / Artículos de IA / LLM locales en un VPS / ¿Cuánta memoria necesita un LLM local en un VPS? Archivo del modelo más caché KV
¿Cuánta memoria necesita un LLM local en un VPS? Archivo del modelo más caché KV
Antes de alquilar un servidor para ejecutar un modelo local, conviene saber cuánta memoria consume. La respuesta tiene dos partes: el propio modelo y una caché que crece con la longitud de la conversación y con el número de peticiones que se atienden a la vez. Este artículo reúne lo que dicen la biblioteca de Ollama, las preguntas frecuentes de Ollama y los archivos de configuración oficiales de los modelos, calcula la caché de seis modelos populares y te permite probar tus propias cifras.
Publicado: · 5 min de lectura · Datos de los modelos contrastados con las fuentes oficiales el 2026-10-26. Los tamaños y los valores predeterminados cambian, así que confírmalos antes de elegir un plan.
Dos cosas llenan la memoria
La primera son los pesos del modelo, que ocupan en memoria aproximadamente lo mismo que el archivo de descarga. La segunda es la caché KV, que guarda las claves y los valores que el modelo ya ha calculado para el texto de su contexto. Las preguntas frecuentes de Ollama indican que la RAM necesaria escala con OLLAMA_NUM_PARALLEL multiplicado por OLLAMA_CONTEXT_LENGTH.
El tamaño de la caché se puede calcular a partir de la configuración del modelo: 2 × capas × cabezas KV × dimensión de cabeza × bytes por valor da los bytes de un token, y se multiplica por la longitud del contexto y por el número de peticiones en paralelo. En f16, un valor ocupa 2 bytes. Para Qwen3 8B, que tiene 36 capas, 8 cabezas KV y una dimensión de cabeza de 128, un token ocupa 2 × 36 × 8 × 128 × 2 = 147,456 bytes. Con 4,096 tokens son 576 MiB, y con 32,768 tokens son 4,608 MiB. Esta fórmula es un cálculo nuestro a partir de los valores de la configuración, no una cifra publicada por Ollama.
Qué dicen las fuentes oficiales sobre cada modelo
El tamaño de descarga y la cuantización son los que muestra la biblioteca de Ollama para cada etiqueta, y las seis etiquetas de abajo aparecen con la cuantización Q4_K_M. Las capas, las cabezas KV y la dimensión de cabeza proceden del config.json de cada modelo en Hugging Face.
| Modelo | Tamaño de descarga (GB) | Capas | Cabezas KV | Dimensión de cabeza |
|---|---|---|---|---|
| Qwen3 0.6B | 0.523 | 28 | 8 | 128 |
| Qwen3 1.7B | 1.4 | 28 | 8 | 128 |
| Qwen3 4B | 2.5 | 36 | 8 | 128 |
| Qwen3 8B | 5.2 | 36 | 8 | 128 |
| Qwen3 14B | 9.3 | 40 | 8 | 128 |
| Mistral 7B (v0.3) | 4.4 | 32 | 8 | 128 |
La configuración de Mistral 7B no indica la dimensión de cabeza, así que se obtiene como el tamaño oculto dividido entre el número de cabezas de atención, 4096 ÷ 32 = 128. La etiqueta Qwen3 4B de la biblioteca de Ollama indica una ventana de contexto de 256K. Las versiones 2507 de Qwen3 4B en Hugging Face tienen las mismas capas, cabezas KV y dimensión de cabeza que la original.
Qué significa eso para la memoria
Con la fórmula anterior, esta tabla muestra la caché de cada modelo con dos longitudes de contexto y el total estimado con 4,096 tokens. El total es la suma de los pesos, la caché en f16 para una sola petición a la vez y una reserva de 1 GiB para el sistema operativo y otros servicios. La última columna es el tamaño de memoria habitual más pequeño en el que cabe.
| Modelo | Caché KV con 4,096 tokens (MiB) | Caché KV con 32,768 tokens (MiB) | Total estimado con 4,096 tokens (GiB) | Tamaño de memoria habitual más pequeño (GiB) |
|---|---|---|---|---|
| Qwen3 0.6B | 448 | 3584 | 1.92 | 2 |
| Qwen3 1.7B | 448 | 3584 | 2.74 | 4 |
| Qwen3 4B | 576 | 4608 | 3.89 | 4 |
| Qwen3 8B | 576 | 4608 | 6.41 | 8 |
| Qwen3 14B | 640 | 5120 | 10.29 | 12 |
| Mistral 7B (v0.3) | 512 | 4096 | 5.60 | 8 |
Son estimaciones, no mediciones. Un modelo que cabe con muy poco margen con 4,096 tokens dejará de caber al aumentar la longitud del contexto: con 32,768 tokens, solo la caché de Qwen3 8B ocupa 4,608 MiB.
Más contexto, más peticiones en paralelo
- Las preguntas frecuentes de Ollama dicen que la RAM necesaria escala con OLLAMA_NUM_PARALLEL multiplicado por OLLAMA_CONTEXT_LENGTH, y ponen un ejemplo: un contexto de 2K con 4 peticiones en paralelo da como resultado un contexto de 8K y memoria adicional.
- OLLAMA_NUM_PARALLEL está documentado con un valor predeterminado de 1, de modo que un servidor para un solo usuario parte de una petición a la vez.
- Las preguntas frecuentes también indican que cuantizar la caché de claves y valores con q8_0 usa aproximadamente la mitad de memoria que f16, y q4_0 aproximadamente una cuarta parte. Con la proporción de las preguntas frecuentes, la caché se reduce entonces a unos 288 MiB para Qwen3 8B con 4,096 tokens y q8_0.
- La página sobre la longitud de contexto de la documentación de Ollama dice que una mayor longitud de contexto aumenta la memoria que necesita un modelo, y que puedes consultar la columna PROCESSOR de ollama ps para ver si un modelo se ha descargado a la CPU.
Prueba tus propias cifras
La calculadora de abajo usa la misma fórmula y los mismos datos. Elige un modelo o introduce el tuyo, fija la longitud del contexto, las peticiones en paralelo, el tipo de caché y una reserva, e indica la memoria del plan que estás valorando para ver si la estimación cabe.
Pruébalo: Local LLM Memory Estimator
Estimación
- Pesos del modelo
- 4.84 GiB
- Caché KV
- 0.56 GiB
- Reserva
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Tamaño de memoria habitual más pequeño que lo contiene
- 8 GiB
Es una estimación. No incluye los búferes de cálculo del runtime y supone que todas las capas tienen la misma forma de KV. Mide una ejecución real antes de elegir un plan.
Datos del modelo comprobados el 2026-10-26.
Fuentes: Ollama library · Configuración del modelo (config.json) · Ollama FAQ
Todo se ejecuta en tu navegador. No se sube nada.
Antes de elegir un plan
- La estimación no incluye la memoria de trabajo propia del motor de ejecución para sus búferes de cómputo. Nuestra sugerencia: ejecuta el modelo en un servidor de pruebas, observa el consumo de memoria con la longitud de contexto que piensas usar y deja algo de margen.
- Un GB son 1,000,000,000 bytes y un GiB son 1,073,741,824 bytes. El «GB» de un proveedor puede referirse a cualquiera de los dos, así que comprueba cómo cuenta tu proveedor antes de comparar.
- La memoria no es el único límite. Los archivos de los modelos de la tabla también necesitan espacio en disco, y los documentos que hemos consultado no dan cifras de velocidad para el funcionamiento solo con CPU.
- Si un modelo apenas cabe, elige el tamaño siguiente o un modelo más pequeño en lugar de reducir la longitud del contexto hasta que arranque.
Fuentes
- Ollama library: qwen3
- Ollama library: mistral
- Ollama documentation: FAQ
- Ollama documentation: Context length
- Qwen3-0.6B config.json (Hugging Face)
- Qwen3-1.7B config.json (Hugging Face)
- Qwen3-4B config.json (Hugging Face)
- Qwen3-8B config.json (Hugging Face)
- Qwen3-14B config.json (Hugging Face)
- Mistral-7B-Instruct-v0.3 config.json (Hugging Face)
Sigue leyendo
- Llamar a un modelo local desde tu código: salidas estructuradas y la API compatible con OpenAI en OllamaLimita la salida de un modelo local con un JSON Schema y llama a Ollama desde clientes al estilo OpenAI: qué dice la documentación oficial y qué no se admite.
- ¿Qué puede hacer un modelo local? Tools, thinking, vision y embeddings en Ollama, y qué cabe en un VPSTools, thinking, vision, embeddings: qué significan las etiquetas de la biblioteca de Ollama, qué modelos las llevan y cuánto pesan las descargas.
- Instalar Ollama en un VPS y mantenerlo en marcha: instalación, servicio systemd, ajustes y actualizacionesInstala Ollama en un VPS con Linux y mantenlo en marcha: el comando de instalación, el servicio systemd, las variables de entorno, el almacenamiento de modelos y las actualizaciones, según la documentación oficial.
- IA en tu propio VPS: cuánta memoria planificar y qué no exponer¿Piensas ejecutar Ollama o Dify en un VPS? Lo que dice la documentación oficial sobre la memoria, la inferencia solo con CPU y los puertos que conviene mantener cerrados.