~/tools / Faire tourner un LLM local sur votre serveur / Ollama OpenAI Converter

Ollama OpenAI Converter — Convertit les requêtes et réponses de chat entre Ollama /api/chat et /v1/chat/completions

Convertit une requête de chat entre le /api/chat natif d'Ollama et son /v1/chat/completions compatible OpenAI, dans les deux sens, et transforme une réponse de /api/chat en la réponse que renvoie /v1/chat/completions. La conversion suit le code source d'Ollama, et l'outil liste chaque champ qui est renommé, abandonné ou sans équivalent. Rien ne quitte votre navigateur.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama répond aux requêtes de chat sur deux endpoints : le /api/chat natif et le /v1/chat/completions compatible OpenAI. Le second n'exécute pas les requêtes lui-même. Dans le code source d'Ollama (openai/openai.go), chaque requête est d'abord convertie en requête /api/chat, puis la réponse est reconvertie. Cet outil fait la même conversion dans votre navigateur. Collez le corps d'une requête ou une réponse, et il détecte de laquelle il s'agit. De la forme OpenAI vers Ollama : max_tokens devient options.num_predict, une seule chaîne stop devient une liste, temperature, top_p, seed et les pénalités passent dans options, response_format devient format ("json", ou le schéma de json_schema.schema), reasoning_effort devient think (none devient false, minimal devient low, xhigh et ultra deviennent max), les arguments des appels d'outil passent d'une chaîne JSON à un objet, et un message d'outil reçoit le nom de la fonction retrouvé à partir de son tool_call_id. Chaque partie d'un tableau content devient un message distinct, et les images doivent être des data URL en base64 d'images JPEG, PNG ou WebP ; les URL d'image sont refusées. Les champs qui ne figurent pas dans le code d'Ollama, comme tool_choice, n, user, logit_bias et max_completion_tokens, sont abandonnés sans erreur. Dans notre test sur Ollama 0.40.11, une requête avec max_completion_tokens 3 a quand même renvoyé une longue réponse, car Ollama ne lit que max_tokens. Dans l'autre sens, les options sans équivalent chez OpenAI, comme num_ctx, top_k et min_p, sont listées au lieu d'être écrites. Pour une réponse, done_reason devient finish_reason (stop devient tool_calls lorsque le modèle a appelé un outil), prompt_eval_count et eval_count deviennent usage, thinking devient reasoning, et les durées sont abandonnées. Ollama écrit l'id sous la forme chatcmpl- suivi d'un nombre aléatoire ; l'outil écrit chatcmpl-0. Nous avons vérifié la conversion en envoyant les deux formes de chaque requête à Ollama 0.40.11 avec le champ de débogage _debug_render_only, qui renvoie le prompt que verrait le modèle, et en comparant les deux prompts, ainsi qu'en comparant les réponses converties avec les vraies réponses de /v1/chat/completions.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts