~/ / Menjalankan LLM lokal di server Anda

Menjalankan LLM lokal di server Anda

Tool untuk menjalankan Ollama di komputer sendiri atau VPS, diurutkan sesuai kebutuhan Anda. Perkirakan memori yang dibutuhkan model, jaga server tetap berjalan dengan systemd, publikasikan dengan aman di balik nginx, dan panggil API-nya. Saat ada yang tidak berfungsi, baca responsnya, detail modelnya, dan log servernya.

Tool, sesuai urutan pemakaian

Artikel tentang topik ini

Topik lainnya