~/tools / Ejecutar un LLM local en tu servidor / Ollama OpenAI Converter

Ollama OpenAI Converter — Convierte solicitudes y respuestas de chat entre Ollama /api/chat y /v1/chat/completions

Convierte una solicitud de chat entre el /api/chat nativo de Ollama y su /v1/chat/completions compatible con OpenAI, en cualquiera de los dos sentidos, y transforma una respuesta de /api/chat en la respuesta que devuelve /v1/chat/completions. La conversión sigue el código fuente de Ollama, y la herramienta enumera cada campo que se renombra, se descarta o no tiene equivalente. Nada sale de tu navegador.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama responde a las solicitudes de chat en dos endpoints: el /api/chat nativo y el /v1/chat/completions compatible con OpenAI. El segundo no ejecuta las solicitudes por sí mismo. En el código fuente de Ollama (openai/openai.go), cada solicitud se convierte primero en una solicitud de /api/chat y la respuesta se convierte de vuelta. Esta herramienta hace la misma conversión en tu navegador. Pega el cuerpo de una solicitud o una respuesta y detecta de cuál se trata. De la forma OpenAI a Ollama: max_tokens pasa a ser options.num_predict, una única cadena stop pasa a ser una lista, temperature, top_p, seed y las penalizaciones se mueven a options, response_format pasa a ser format ("json", o el esquema de json_schema.schema), reasoning_effort pasa a ser think (none pasa a ser false, minimal pasa a ser low, xhigh y ultra pasan a ser max), los argumentos de las llamadas a herramientas cambian de una cadena JSON a un objeto, y un mensaje de herramienta recibe el nombre de la función buscado a partir de su tool_call_id. Cada parte de un array content se convierte en un mensaje propio, y las imágenes deben ser URL de datos en base64 de imágenes JPEG, PNG o WebP; las URL de imagen se rechazan. Los campos que no están en el código de Ollama, como tool_choice, n, user, logit_bias y max_completion_tokens, se descartan sin error. En nuestra prueba con Ollama 0.40.11, una solicitud con max_completion_tokens 3 devolvió igualmente una respuesta larga, porque Ollama lee solo max_tokens. En el sentido contrario, las opciones sin equivalente en OpenAI, como num_ctx, top_k y min_p, se enumeran en lugar de escribirse. En una respuesta, done_reason pasa a ser finish_reason (stop pasa a ser tool_calls cuando el modelo llamó a una herramienta), prompt_eval_count y eval_count pasan a ser usage, thinking pasa a ser reasoning, y las duraciones se descartan. Ollama escribe el id como chatcmpl- seguido de un número aleatorio; la herramienta escribe chatcmpl-0. Comprobamos la conversión enviando las dos formas de cada solicitud a Ollama 0.40.11 con el campo de depuración _debug_render_only, que devuelve el prompt que vería el modelo, y comparando ambos prompts, y comparando las respuestas convertidas con las respuestas reales de /v1/chat/completions.

La lógica principal de esta herramienta es de código abierto, con licencia MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts