~/ / Eseguire un LLM locale sul tuo server
Strumenti per eseguire Ollama sul tuo computer o su una VPS, nell'ordine in cui ti servono. Stima la memoria di cui un modello ha bisogno, mantieni il server attivo con systemd, pubblicalo in sicurezza dietro nginx e chiama la sua API. Quando qualcosa non funziona, leggi le sue risposte, i dettagli del modello e il log del server.
Scopri cosa Ollama tiene in memoria, per quanto tempo e quali impostazioni lo cambiano: ollama ps, keep_alive e i limiti, dalle FAQ ufficiali.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Esegui Dify sul tuo VPS e usa Ollama come modello: installazione, campi del plugin, il problema dell'indirizzo in Docker e gli embedding, dalla documentazione ufficiale.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Non hai un PC potente? Affitta una VPS ed esegui un piccolo LLM locale dal browser: sei passaggi, dalla stima della memoria a una chat protetta, con i limiti dichiarati con onestà.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator, LLM API Cost Calculator
Esegui Open WebUI con Docker e collegalo a Ollama sul tuo server: i comandi, il primo account, i due tipi di connessione e come aggiornare.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator
Vincola l'output di un modello locale con un JSON Schema e chiama Ollama da client in stile OpenAI: cosa dice la documentazione ufficiale e cosa non è supportato.
Pubblicato: Strumenti utilizzabili: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Tools, thinking, vision, embedding: cosa significano le etichette della libreria di Ollama, quali modelli le portano e quanto pesano i download.
Pubblicato: Strumenti utilizzabili: Local LLM Memory Estimator