LLM JSON Repair — AIモデルが返した壊れたJSONを修復します

有効なJSONとは

• 文字列とメンバー名には、ダブルクォートだけを使います。シングルクォートは文法に含まれていません。
• コメントはありません。許されている余白は空白文字だけです。
• カンマはメンバーや要素の間にだけ置くので、末尾のカンマは許されません。
• 値は、オブジェクト、配列、数値、文字列のいずれか、または false、null、true のどれかです。Infinity、NaN、undefined はJSONの値ではありません。
• 数値は、先頭にゼロや + を付けられず、小数点の両側に数字が必要です。そのため、012、+5、.5、5. はすべて無効です。
• 文字列の中の U+0000 から U+001F の制御文字はエスケープしなければならず、文字列の中の生の改行は無効です。
• 最上位には、オブジェクトや配列だけでなく、どんな値でも置けます。

モデルの出力がよく壊れるパターン

安全に直せるものと、そうでないもの

壊れたテキストの読み方が一つしか考えられないとき、その修復は安全です。末尾のカンマ、コメント、コードフェンスは、データが表す内容を変えずに取り除けます。それ以外の変更は意味が変わってしまうため、印を付けて表示します。確認してください。途中で切れた返答を閉じると、データの欠けた有効なJSONになり、NaN を null にすると元の値が失われます。

JSON自体に由来する制約が二つあります。RFC 8259 は、オブジェクト内の名前は一意であるべきで、そうでない場合のソフトウェアの動作は予測できないと述べています。このツールは JSON.parse と同じく、最後のものを残します。また同RFCは、IEEE 754 の倍精度浮動小数点数を超える範囲や精度を期待しないソフトウェアのほうが、相互運用性が高いと述べています。このツールは数値を書かれたまま保ちますが、非常に長い整数を倍精度浮動小数点数として解析するプログラムでは、丸められます。-(2^53)+1 から (2^53)-1 までの整数なら、正確に表せます。

より良い方法: APIに構造化出力を求める

修復は、あくまで最後の手段です。モデルのAPIでは、出力をスキーマに従わせることができ、3つのベンダーはそれぞれ違う形で文書化しています。

• OpenAI: Structured Outputs は、モデルにJSON Schemaに従った応答を生成させます。一方、JSON mode が保証するのは有効なJSONであることだけです。拒否の応答はスキーマに従わないことがあり、最大トークン数に達した応答は不完全です(ステータスは incomplete、理由は max_output_tokens)。
• Anthropic: 構造化出力は制約付きデコードを使って、応答をスキーマに従わせます。ドキュメントによると、これが成り立つのはほとんどの場合です。拒否(stop_reason が refusal)や、max_tokens で途切れた返答は、スキーマに一致しないことがあるため、解析する前に stop_reason を確認してください。
• Google Gemini: モデルは、指定したスキーマに従ったJSONを生成するよう設定されます。意味的な正しさは保証されないため、値は検証してください。また、minLength や maxLength など、強制されない制約もあります。

出力が途中で切れた場合に、有効なJSONを約束している文書は3社のどれにもありません。解析した結果を信用する前に、モデルがなぜ止まったのかを確認してください。