~/tools / Yerel LLM'i kendi sunucunuzda çalıştırın / Ollama OpenAI Converter

Ollama OpenAI Converter — Sohbet isteklerini ve yanıtlarını Ollama /api/chat ile /v1/chat/completions arasında dönüştürün

Bir sohbet isteğini Ollama'nın yerel /api/chat uç noktası ile OpenAI uyumlu /v1/chat/completions uç noktası arasında her iki yönde dönüştürün ve bir /api/chat yanıtını /v1/chat/completions'ın döndürdüğü yanıta çevirin. Dönüştürme Ollama'nın kendi kaynak kodunu izler ve araç, yeniden adlandırılan, düşürülen ya da karşılığı olmayan her alanı listeler. Hiçbir veri tarayıcınızdan çıkmaz.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama sohbet isteklerini iki uç noktada yanıtlar: yerel /api/chat ve OpenAI uyumlu /v1/chat/completions. İkincisi istekleri kendisi çalıştırmaz. Ollama'nın kaynak kodunda (openai/openai.go) her istek önce bir /api/chat isteğine dönüştürülür ve yanıt geri dönüştürülür. Bu araç aynı dönüştürmeyi tarayıcınızda yapar. Bir istek gövdesini ya da bir yanıtı yapıştırın, araç hangisi olduğunu algılar. OpenAI biçiminden Ollama'ya: max_tokens options.num_predict olur, tek bir stop dizesi liste olur, temperature, top_p, seed ve cezalar options içine taşınır, response_format format olur ("json" ya da json_schema.schema içindeki şema), reasoning_effort think olur (none false olur, minimal low olur, xhigh ve ultra max olur), araç çağrılarının argümanları bir JSON dizesinden nesneye dönüşür ve bir araç mesajı, tool_call_id değerinden bulunan işlev adını alır. content dizisinin her parçası ayrı bir mesaj olur ve görseller JPEG, PNG ya da WebP görsellerin base64 veri URL'leri olmalıdır; görsel URL'leri reddedilir. tool_choice, n, user, logit_bias ve max_completion_tokens gibi Ollama'nın kodunda bulunmayan alanlar hata verilmeden düşürülür. Ollama 0.40.11 üzerindeki testimizde, max_completion_tokens 3 içeren bir istek yine de uzun bir yanıt döndürdü, çünkü Ollama yalnızca max_tokens okur. Diğer yönde, num_ctx, top_k ve min_p gibi OpenAI karşılığı olmayan options değerleri yazılmak yerine listelenir. Bir yanıtta done_reason finish_reason olur (model bir araç çağırdıysa stop tool_calls olur), prompt_eval_count ve eval_count usage olur, thinking reasoning olur ve süreler düşürülür. Ollama id değerini chatcmpl- ve ardından rastgele bir sayı olarak yazar; araç chatcmpl-0 yazar. Dönüştürmeyi, her isteğin iki biçimini de modelin göreceği istemi döndüren _debug_render_only hata ayıklama alanıyla Ollama 0.40.11'e gönderip iki istemi karşılaştırarak ve dönüştürülmüş yanıtları /v1/chat/completions'ın gerçek yanıtlarıyla karşılaştırarak denetledik.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts