~/tools / Menjalankan LLM lokal di server Anda / Ollama OpenAI Converter

Ollama OpenAI Converter — Ubah permintaan dan respons chat antara /api/chat Ollama dan /v1/chat/completions

Ubah permintaan chat antara /api/chat bawaan Ollama dan /v1/chat/completions yang kompatibel dengan OpenAI, ke kedua arah, dan ubah respons /api/chat menjadi respons yang dikembalikan /v1/chat/completions. Konversinya mengikuti kode sumber Ollama sendiri, dan alat ini mendaftar setiap field yang diganti namanya, dibuang, atau tidak punya padanan. Tidak ada yang keluar dari browser Anda.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama menjawab permintaan chat di dua endpoint: /api/chat bawaannya dan /v1/chat/completions yang kompatibel dengan OpenAI. Endpoint kedua tidak menjalankan permintaan sendiri. Dalam kode sumber Ollama (openai/openai.go), setiap permintaan pertama-tama diubah menjadi permintaan /api/chat, lalu jawabannya diubah kembali. Alat ini melakukan konversi yang sama di browser Anda. Tempel body permintaan atau sebuah respons, dan alat ini mendeteksi yang mana. Dari bentuk OpenAI ke Ollama: max_tokens menjadi options.num_predict, satu string stop menjadi daftar, temperature, top_p, seed, dan penalti pindah ke options, response_format menjadi format ("json", atau skema dari json_schema.schema), reasoning_effort menjadi think (none menjadi false, minimal menjadi low, xhigh dan ultra menjadi max), argumen pemanggilan tool berubah dari string JSON menjadi objek, dan pesan tool diberi nama fungsi yang dicari dari tool_call_id-nya. Setiap bagian dari array content menjadi pesan tersendiri, dan gambar harus berupa data URL base64 dari gambar JPEG, PNG, atau WebP; URL gambar ditolak. Field yang tidak ada di kode Ollama, seperti tool_choice, n, user, logit_bias, dan max_completion_tokens, dibuang tanpa error. Dalam uji kami pada Ollama 0.40.11, permintaan dengan max_completion_tokens 3 tetap mengembalikan jawaban yang panjang, karena Ollama hanya membaca max_tokens. Ke arah sebaliknya, options yang tidak punya padanan di OpenAI, seperti num_ctx, top_k, dan min_p, didaftar dan tidak ditulis. Untuk respons: done_reason menjadi finish_reason (stop menjadi tool_calls ketika model memanggil sebuah tool), prompt_eval_count dan eval_count menjadi usage, thinking menjadi reasoning, dan durasinya dibuang. Ollama menulis id sebagai chatcmpl- diikuti angka acak; alat ini menulis chatcmpl-0. Kami memeriksa konversinya dengan mengirim kedua bentuk dari setiap permintaan ke Ollama 0.40.11 dengan field debugging _debug_render_only, yang mengembalikan prompt yang akan dilihat model, lalu membandingkan kedua prompt itu, dan dengan membandingkan respons hasil konversi dengan jawaban asli dari /v1/chat/completions.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts