~/tools / Lokalny LLM na własnym serwerze / Ollama OpenAI Converter

Ollama OpenAI Converter — Konwertuj żądania i odpowiedzi czatu między Ollama /api/chat a /v1/chat/completions

Przekonwertuj żądanie czatu między natywnym /api/chat Ollamy a zgodnym z OpenAI /v1/chat/completions, w obu kierunkach, oraz zamień odpowiedź z /api/chat na odpowiedź, którą zwraca /v1/chat/completions. Konwersja wzorowana jest na kodzie źródłowym Ollamy, a narzędzie wymienia każde pole, które zostaje przemianowane, pominięte lub nie ma odpowiednika. Nic nie opuszcza Twojej przeglądarki.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama odpowiada na żądania czatu przez dwa punkty końcowe: natywny /api/chat oraz zgodny z OpenAI /v1/chat/completions. Ten drugi sam nie wykonuje żądań. W kodzie źródłowym Ollamy (openai/openai.go) każde żądanie jest najpierw zamieniane na żądanie /api/chat, a odpowiedź jest zamieniana z powrotem. To narzędzie wykonuje tę samą konwersję w Twojej przeglądarce. Wklej treść żądania lub odpowiedź, a narzędzie rozpozna, z czym ma do czynienia. Z postaci OpenAI do Ollamy: max_tokens staje się options.num_predict, pojedynczy ciąg stop staje się listą, temperature, top_p, seed i kary trafiają do options, response_format staje się format ("json" albo schemat z json_schema.schema), reasoning_effort staje się think (none staje się false, minimal staje się low, xhigh i ultra stają się max), argumenty wywołań narzędzi zmieniają się z ciągu JSON w obiekt, a komunikat narzędzia dostaje nazwę funkcji znalezioną po jego tool_call_id. Każda część tablicy content staje się osobnym komunikatem, a obrazy muszą być adresami data URL w base64 obrazów JPEG, PNG lub WebP; adresy URL obrazów są odrzucane. Pola, których nie ma w kodzie Ollamy, takie jak tool_choice, n, user, logit_bias i max_completion_tokens, są pomijane bez błędu. W naszym teście na Ollamie 0.40.11 żądanie z max_completion_tokens 3 nadal zwróciło długą odpowiedź, ponieważ Ollama czyta tylko max_tokens. W drugim kierunku options bez odpowiednika w OpenAI, takie jak num_ctx, top_k i min_p, są wymieniane zamiast zapisywane. W odpowiedzi done_reason staje się finish_reason (stop staje się tool_calls, gdy model wywołał narzędzie), prompt_eval_count i eval_count stają się usage, thinking staje się reasoning, a czasy trwania są pomijane. Ollama zapisuje id jako chatcmpl- i losową liczbę; narzędzie zapisuje chatcmpl-0. Konwersję sprawdziliśmy, wysyłając obie postaci każdego żądania do Ollamy 0.40.11 z polem diagnostycznym _debug_render_only, które zwraca prompt, jaki zobaczyłby model, i porównując oba prompty, a także porównując przekonwertowane odpowiedzi z prawdziwymi odpowiedziami /v1/chat/completions.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts