~/ / Rodar um LLM local no seu servidor
Ferramentas para rodar o Ollama no seu próprio computador ou em uma VPS, na ordem em que você precisa delas. Estime a memória de que um modelo precisa, mantenha o servidor ativo com systemd, publique-o com segurança atrás do nginx e chame a API dele. Quando algo não funciona, leia as respostas, os detalhes do modelo e o log do servidor.
Veja o que o Ollama mantém na memória, por quanto tempo e quais configurações mudam isso: ollama ps, keep_alive e os limites, a partir do FAQ oficial.
Publicado: Ferramentas que você pode usar: Local LLM Memory Estimator
Execute o Dify no seu próprio VPS e use o Ollama como modelo: instalação, campos do plugin, o problema do endereço no Docker e embeddings, segundo a documentação oficial.
Publicado: Ferramentas que você pode usar: Local LLM Memory Estimator
Sem um PC potente? Alugue uma VPS e rode um pequeno LLM local pelo navegador: seis passos, da estimativa de memória até uma tela de chat protegida, com os limites ditos com honestidade.
Publicado: Ferramentas que você pode usar: Local LLM Memory Estimator, LLM API Cost Calculator
Rode o Open WebUI com Docker e conecte-o ao Ollama no seu próprio servidor: os comandos, a primeira conta, os dois tipos de conexão e como atualizar.
Publicado: Ferramentas que você pode usar: Local LLM Memory Estimator
Restrinja a saída de um modelo local com um JSON Schema e chame o Ollama a partir de clientes no estilo OpenAI: o que a documentação oficial diz e o que não é compatível.
Publicado: Ferramentas que você pode usar: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Tools, thinking, vision, embeddings: o que significam os rótulos da biblioteca do Ollama, quais modelos os têm e qual o tamanho dos downloads.
Publicado: Ferramentas que você pode usar: Local LLM Memory Estimator