~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama OpenAI Converter

Ollama OpenAI Converter — Chuyển yêu cầu và phản hồi chat giữa /api/chat của Ollama và /v1/chat/completions

Chuyển một yêu cầu chat giữa /api/chat gốc của Ollama và /v1/chat/completions tương thích OpenAI, theo cả hai chiều, và biến phản hồi của /api/chat thành phản hồi mà /v1/chat/completions trả về. Việc chuyển đổi theo đúng mã nguồn của Ollama, và công cụ liệt kê mọi trường bị đổi tên, bị bỏ hoặc không có tương ứng. Không có gì rời khỏi trình duyệt của bạn.

curl http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"system","content":"Answer in one sentence."},{"role":"user","content":"What is the weather in Toronto?"},{"role":"assistant","content":"","tool_calls":[{"id":"call_1","function":{"name":"get_weather","arguments":{"city":"Toronto"}}}]},{"role":"tool","content":"11 degrees, cloudy","tool_name":"get_weather","tool_call_id":"call_1"}],"stream":false,"options":{"stop":["END"],"num_predict":200,"temperature":0.2},"tools":[{"type":"function","function":{"name":"get_weather","description":"Weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}}}]}'

{
  "model": "qwen2.5:7b",
  "messages": [
    {
      "role": "system",
      "content": "Answer in one sentence."
    },
    {
      "role": "user",
      "content": "What is the weather in Toronto?"
    },
    {
      "role": "assistant",
      "content": "",
      "tool_calls": [
        {
          "id": "call_1",
          "function": {
            "name": "get_weather",
            "arguments": {
              "city": "Toronto"
            }
          }
        }
      ]
    },
    {
      "role": "tool",
      "content": "11 degrees, cloudy",
      "tool_name": "get_weather",
      "tool_call_id": "call_1"
    }
  ],
  "stream": false,
  "options": {
    "stop": [
      "END"
    ],
    "num_predict": 200,
    "temperature": 0.2
  },
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ]
}

Ollama trả lời các yêu cầu chat trên hai endpoint: /api/chat gốc và /v1/chat/completions tương thích OpenAI. Endpoint thứ hai không tự chạy yêu cầu. Trong mã nguồn của Ollama (openai/openai.go), mỗi yêu cầu trước hết được chuyển thành một yêu cầu /api/chat, rồi câu trả lời được chuyển ngược lại. Công cụ này thực hiện đúng phép chuyển đổi đó ngay trong trình duyệt của bạn. Hãy dán thân yêu cầu hoặc một phản hồi, và công cụ sẽ nhận ra đó là loại nào. Từ dạng OpenAI sang Ollama: max_tokens trở thành options.num_predict, một chuỗi stop đơn lẻ trở thành danh sách, temperature, top_p, seed và các hình phạt chuyển vào options, response_format trở thành format ("json", hoặc schema lấy từ json_schema.schema), reasoning_effort trở thành think (none thành false, minimal thành low, xhigh và ultra thành max), các đối số của lệnh gọi công cụ đổi từ chuỗi JSON thành đối tượng, và một thông điệp tool được gắn tên hàm tra cứu từ tool_call_id của nó. Mỗi phần của mảng content trở thành một thông điệp riêng, và hình ảnh phải là data URL base64 của ảnh JPEG, PNG hoặc WebP; URL của ảnh bị từ chối. Các trường không có trong mã của Ollama, như tool_choice, n, user, logit_bias và max_completion_tokens, bị bỏ mà không báo lỗi. Trong thử nghiệm của chúng tôi trên Ollama 0.40.11, một yêu cầu với max_completion_tokens bằng 3 vẫn trả về câu trả lời dài, vì Ollama chỉ đọc max_tokens. Theo chiều ngược lại, các options không có tương ứng bên OpenAI, như num_ctx, top_k và min_p, được liệt kê thay vì được ghi ra. Với phản hồi: done_reason trở thành finish_reason (stop thành tool_calls khi mô hình đã gọi một công cụ), prompt_eval_count và eval_count trở thành usage, thinking trở thành reasoning, và các thời lượng bị bỏ. Ollama ghi id là chatcmpl- theo sau bởi một số ngẫu nhiên; công cụ ghi chatcmpl-0. Chúng tôi đã kiểm tra phép chuyển đổi bằng cách gửi cả hai dạng của mỗi yêu cầu đến Ollama 0.40.11 cùng trường gỡ lỗi _debug_render_only, trường này trả về prompt mà mô hình sẽ thấy, rồi so sánh hai prompt đó, và bằng cách so sánh các phản hồi đã chuyển đổi với câu trả lời thật của /v1/chat/completions.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-openai.ts