~/tools / Ein lokales LLM auf dem eigenen Server / Ollama OpenAI Converter

Ollama OpenAI Converter — Chat-Anfragen und -Antworten zwischen Ollama /api/chat und /v1/chat/completions umwandeln

Wandeln Sie eine Chat-Anfrage zwischen dem nativen /api/chat von Ollama und dem OpenAI-kompatiblen /v1/chat/completions um, in beide Richtungen, und machen Sie aus einer Antwort von /api/chat die Antwort, die /v1/chat/completions zurückgibt. Die Umwandlung folgt dem Quellcode von Ollama, und das Tool listet jedes Feld auf, das umbenannt wird, wegfällt oder keine Entsprechung hat. Nichts verlässt Ihren Browser.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama beantwortet Chat-Anfragen an zwei Endpunkten: dem nativen /api/chat und dem OpenAI-kompatiblen /v1/chat/completions. Der zweite führt Anfragen nicht selbst aus. Im Quellcode von Ollama (openai/openai.go) wird jede Anfrage zuerst in eine Anfrage an /api/chat umgewandelt, und die Antwort wird zurückgewandelt. Dieses Tool führt dieselbe Umwandlung in Ihrem Browser aus. Fügen Sie einen Anfrage-Body oder eine Antwort ein, und das Tool erkennt, um welche Form es sich handelt. Von der OpenAI-Form zu Ollama: max_tokens wird zu options.num_predict, ein einzelner stop-String wird zu einer Liste, temperature, top_p, seed und die Penalties wandern in options, response_format wird zu format ("json" oder das Schema aus json_schema.schema), reasoning_effort wird zu think (none wird zu false, minimal wird zu low, xhigh und ultra werden zu max), die Argumente von Tool-Aufrufen wechseln von einem JSON-String zu einem Objekt, und eine Tool-Nachricht erhält den Funktionsnamen, der über ihre tool_call_id nachgeschlagen wird. Jeder Teil eines content-Arrays wird zu einer eigenen Nachricht, und Bilder müssen base64-Daten-URLs von JPEG-, PNG- oder WebP-Bildern sein; Bild-URLs werden abgelehnt. Felder, die nicht im Code von Ollama vorkommen, etwa tool_choice, n, user, logit_bias und max_completion_tokens, werden ohne Fehler verworfen. In unserem Test mit Ollama 0.40.11 lieferte eine Anfrage mit max_completion_tokens 3 trotzdem eine lange Antwort, weil Ollama nur max_tokens liest. In der anderen Richtung werden options ohne OpenAI-Entsprechung, etwa num_ctx, top_k und min_p, aufgelistet statt geschrieben. Bei einer Antwort wird done_reason zu finish_reason (stop wird zu tool_calls, wenn das Modell ein Tool aufgerufen hat), prompt_eval_count und eval_count werden zu usage, thinking wird zu reasoning, und die Zeitdauern entfallen. Ollama schreibt die id als chatcmpl- gefolgt von einer Zufallszahl; das Tool schreibt chatcmpl-0. Wir haben die Umwandlung geprüft, indem wir beide Formen jeder Anfrage mit dem Debug-Feld _debug_render_only an Ollama 0.40.11 gesendet haben, das den Prompt zurückgibt, den das Modell sehen würde, und die beiden Prompts verglichen haben, sowie indem wir umgewandelte Antworten mit den echten Antworten von /v1/chat/completions verglichen haben.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts