~/ / Articoli sull'IA / LLM locali su un VPS
Articoli su come eseguire modelli linguistici sul proprio server: la memoria necessaria, l'installazione, le impostazioni e cosa sa fare ogni modello. Scritti solo a partire dalla documentazione ufficiale di Ollama e dei produttori dei modelli.
Esegui Open WebUI con Docker e collegalo a Ollama sul tuo server: i comandi, il primo account, i due tipi di connessione e come aggiornare.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Vincola l'output di un modello locale con un JSON Schema e chiama Ollama da client in stile OpenAI: cosa dice la documentazione ufficiale e cosa non è supportato.
Pubblicato: Strumenti utilizzabili: JSON Schema Validator, LLM JSON Repair
Tools, thinking, vision, embedding: cosa significano le etichette della libreria di Ollama, quali modelli le portano e quanto pesano i download.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Installare Ollama su un VPS Linux e tenerlo in funzione: il comando di installazione, il servizio systemd, le variabili d'ambiente, la cartella dei modelli e gli aggiornamenti, dalla documentazione ufficiale.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
File del modello più cache KV: cosa dicono la libreria di Ollama, le FAQ di Ollama e le configurazioni ufficiali dei modelli sulla memoria che serve a un LLM locale su una VPS.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Pensi di eseguire Ollama o Dify su un VPS? Cosa dice la documentazione ufficiale su memoria, inferenza solo CPU e porte da tenere chiuse.
Pubblicato: Strumenti utilizzabili: LLM API Cost Calculator