~/tools / Rodar um LLM local no seu servidor / Ollama OpenAI Converter

Ollama OpenAI Converter — Converta requisições e respostas de chat entre Ollama /api/chat e /v1/chat/completions

Converte uma requisição de chat entre o /api/chat nativo do Ollama e o seu /v1/chat/completions compatível com a OpenAI, nos dois sentidos, e transforma uma resposta de /api/chat na resposta que /v1/chat/completions retorna. A conversão segue o código-fonte do próprio Ollama, e a ferramenta lista cada campo que é renomeado, descartado ou sem equivalente. Nada sai do seu navegador.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

O Ollama responde a requisições de chat em dois endpoints: o /api/chat nativo e o /v1/chat/completions compatível com a OpenAI. O segundo não executa as requisições por conta própria. No código-fonte do Ollama (openai/openai.go), cada requisição é primeiro convertida em uma requisição de /api/chat, e a resposta é convertida de volta. Esta ferramenta faz a mesma conversão no seu navegador. Cole o corpo de uma requisição ou uma resposta, e ela detecta qual das duas é. Da forma OpenAI para o Ollama: max_tokens vira options.num_predict, uma única string stop vira uma lista, temperature, top_p, seed e as penalidades vão para options, response_format vira format ("json", ou o esquema de json_schema.schema), reasoning_effort vira think (none vira false, minimal vira low, xhigh e ultra viram max), os argumentos das chamadas de ferramenta passam de uma string JSON para um objeto, e uma mensagem de ferramenta recebe o nome da função, buscado a partir do seu tool_call_id. Cada parte de um array content vira uma mensagem própria, e as imagens precisam ser data URLs em base64 de imagens JPEG, PNG ou WebP; URLs de imagem são rejeitadas. Campos que não estão no código do Ollama, como tool_choice, n, user, logit_bias e max_completion_tokens, são descartados sem erro. No nosso teste com o Ollama 0.40.11, uma requisição com max_completion_tokens 3 ainda retornou uma resposta longa, porque o Ollama lê somente max_tokens. No sentido contrário, as opções sem equivalente na OpenAI, como num_ctx, top_k e min_p, são listadas em vez de escritas. Numa resposta, done_reason vira finish_reason (stop vira tool_calls quando o modelo chamou uma ferramenta), prompt_eval_count e eval_count viram usage, thinking vira reasoning, e as durações são descartadas. O Ollama escreve o id como chatcmpl- seguido de um número aleatório; a ferramenta escreve chatcmpl-0. Verificamos a conversão enviando as duas formas de cada requisição ao Ollama 0.40.11 com o campo de depuração _debug_render_only, que retorna o prompt que o modelo veria, e comparando os dois prompts, e comparando as respostas convertidas com as respostas reais de /v1/chat/completions.

A lógica principal desta ferramenta é de código aberto, sob a licença MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts