~/tools / Локальная LLM на своём сервере / Ollama OpenAI Converter

Ollama OpenAI Converter — Преобразование запросов и ответов чата между Ollama /api/chat и /v1/chat/completions

Преобразуйте запрос чата между нативным /api/chat в Ollama и OpenAI-совместимым /v1/chat/completions в обе стороны, а ответ /api/chat превратите в ответ, который возвращает /v1/chat/completions. Преобразование следует исходному коду Ollama, а инструмент перечисляет каждое поле, которое переименовывается, отбрасывается или не имеет соответствия. Данные не покидают ваш браузер.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama отвечает на запросы чата через два эндпоинта: нативный /api/chat и OpenAI-совместимый /v1/chat/completions. Второй сам запросы не выполняет. В исходном коде Ollama (openai/openai.go) каждый запрос сначала преобразуется в запрос /api/chat, а ответ преобразуется обратно. Этот инструмент выполняет такое же преобразование в вашем браузере. Вставьте тело запроса или ответ, и инструмент определит, что это. Из формы OpenAI в Ollama: max_tokens становится options.num_predict, одиночная строка stop становится списком, temperature, top_p, seed и штрафы переходят в options, response_format становится format ("json" или схема из json_schema.schema), reasoning_effort становится think (none становится false, minimal становится low, xhigh и ultra становятся max), аргументы вызовов инструментов меняются со строки JSON на объект, а сообщение инструмента получает имя функции, найденное по его tool_call_id. Каждая часть массива content становится отдельным сообщением, а изображения должны быть data URL в base64 с изображениями JPEG, PNG или WebP; URL изображений отклоняются. Поля, которых нет в коде Ollama, такие как tool_choice, n, user, logit_bias и max_completion_tokens, отбрасываются без ошибки. В нашем тесте на Ollama 0.40.11 запрос с max_completion_tokens 3 всё равно вернул длинный ответ, потому что Ollama читает только max_tokens. В другую сторону options без соответствия в OpenAI, такие как num_ctx, top_k и min_p, перечисляются, а не записываются. В ответе done_reason становится finish_reason (stop становится tool_calls, если модель вызвала инструмент), prompt_eval_count и eval_count становятся usage, thinking становится reasoning, а длительности отбрасываются. Ollama записывает id как chatcmpl- и случайное число; инструмент записывает chatcmpl-0. Мы проверили преобразование, отправив обе формы каждого запроса в Ollama 0.40.11 с отладочным полем _debug_render_only, которое возвращает промпт, который увидела бы модель, и сравнив два промпта, а также сравнив преобразованные ответы с настоящими ответами /v1/chat/completions.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts