~/tools / Eseguire un LLM locale sul tuo server / Ollama OpenAI Converter

Ollama OpenAI Converter — Converti richieste e risposte di chat tra Ollama /api/chat e /v1/chat/completions

Converte una richiesta di chat tra il /api/chat nativo di Ollama e il suo /v1/chat/completions compatibile con OpenAI, in entrambe le direzioni, e trasforma una risposta di /api/chat nella risposta restituita da /v1/chat/completions. La conversione segue il codice sorgente di Ollama, e lo strumento elenca ogni campo che viene rinominato, scartato o privo di equivalente. Nulla lascia il tuo browser.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama risponde alle richieste di chat su due endpoint: il /api/chat nativo e il /v1/chat/completions compatibile con OpenAI. Il secondo non esegue le richieste da solo. Nel codice sorgente di Ollama (openai/openai.go), ogni richiesta viene prima convertita in una richiesta /api/chat, e la risposta viene riconvertita. Questo strumento esegue la stessa conversione nel tuo browser. Incolla il corpo di una richiesta o una risposta, e rileva di quale si tratta. Dalla forma OpenAI a Ollama: max_tokens diventa options.num_predict, una singola stringa stop diventa un elenco, temperature, top_p, seed e le penalità passano in options, response_format diventa format ("json", oppure lo schema di json_schema.schema), reasoning_effort diventa think (none diventa false, minimal diventa low, xhigh e ultra diventano max), gli argomenti delle chiamate a strumenti passano da una stringa JSON a un oggetto, e un messaggio di strumento riceve il nome della funzione ricavato dal suo tool_call_id. Ogni parte di un array content diventa un messaggio a sé, e le immagini devono essere data URL in base64 di immagini JPEG, PNG o WebP; gli URL di immagini vengono rifiutati. I campi che non sono nel codice di Ollama, come tool_choice, n, user, logit_bias e max_completion_tokens, vengono scartati senza errore. Nel nostro test su Ollama 0.40.11, una richiesta con max_completion_tokens 3 ha comunque restituito una risposta lunga, perché Ollama legge solo max_tokens. Nella direzione opposta, le opzioni senza equivalente in OpenAI, come num_ctx, top_k e min_p, vengono elencate invece di essere scritte. Per una risposta, done_reason diventa finish_reason (stop diventa tool_calls quando il modello ha chiamato uno strumento), prompt_eval_count e eval_count diventano usage, thinking diventa reasoning, e le durate vengono scartate. Ollama scrive l'id come chatcmpl- seguito da un numero casuale; lo strumento scrive chatcmpl-0. Abbiamo verificato la conversione inviando entrambe le forme di ogni richiesta a Ollama 0.40.11 con il campo di debug _debug_render_only, che restituisce il prompt che il modello vedrebbe, e confrontando i due prompt, e confrontando le risposte convertite con le risposte reali di /v1/chat/completions.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts