LLM JSON Repair — Sửa JSON bị lỗi do mô hình AI trả về

Thế nào là JSON hợp lệ

• Chuỗi và tên thành viên chỉ dùng dấu nháy kép. Dấu nháy đơn không thuộc ngữ pháp.
• Không có chú thích. Thứ duy nhất được phép chèn vào là khoảng trắng.
• Dấu phẩy chỉ đặt giữa các thành viên hoặc phần tử, nên dấu phẩy thừa ở cuối là không được phép.
• Một giá trị là đối tượng, mảng, số hoặc chuỗi, hoặc một trong false, null và true. Infinity, NaN và undefined không phải là giá trị JSON.
• Số không được có số 0 đứng đầu hay dấu + đứng đầu, và dấu thập phân cần có chữ số ở cả hai phía, nên 012, +5, .5 và 5. đều không hợp lệ.
• Ký tự điều khiển từ U+0000 đến U+001F trong chuỗi phải được escape, nên một ký tự xuống dòng thô trong chuỗi là không hợp lệ.
• Cấp cao nhất có thể là bất kỳ giá trị nào, không chỉ đối tượng hay mảng.

Đầu ra của mô hình thường hỏng ở đâu

Sửa gì là an toàn, và gì thì không

Một cách sửa là an toàn khi văn bản hỏng chỉ có đúng một cách hiểu hợp lý. Dấu phẩy thừa, chú thích hay code fence có thể bị xóa mà không đổi điều dữ liệu nói. Các thay đổi khác làm đổi ý nghĩa, nên chúng được đánh dấu và bạn cần kiểm tra: đóng một câu trả lời bị cắt giữa chừng cho ra JSON hợp lệ nhưng thiếu dữ liệu, và đổi NaN thành null làm mất giá trị gốc.

Có hai giới hạn đến từ chính JSON. RFC 8259 nói rằng tên trong một đối tượng nên là duy nhất và rằng hành vi của phần mềm là không thể đoán trước khi chúng trùng nhau; công cụ này giữ cái cuối cùng, giống JSON.parse. RFC cũng nói rằng phần mềm tương tác tốt với nhau khi không mong đợi phạm vi hay độ chính xác vượt quá một số double IEEE 754. Công cụ này giữ nguyên các số như bạn viết, nhưng một chương trình đọc số nguyên rất dài thành double sẽ làm tròn nó. Số nguyên từ -(2^53)+1 đến (2^53)-1 là chính xác.

Tốt hơn: yêu cầu API trả về structured output

Sửa chỉ là phương án dự phòng. Các API của mô hình có thể ép đầu ra theo một schema, và ba nhà cung cấp mô tả việc này khác nhau.

• OpenAI: Structured Outputs khiến mô hình tạo ra phản hồi tuân theo JSON Schema của bạn, còn JSON mode chỉ đảm bảo JSON hợp lệ. Một lời từ chối có thể không theo schema, và một phản hồi chạm giới hạn token tối đa là chưa hoàn chỉnh (trạng thái incomplete, lý do max_output_tokens).
• Anthropic: structured outputs dùng constrained decoding để phản hồi theo schema của bạn, và tài liệu nói điều này đúng trong hầu hết trường hợp. Một lời từ chối (stop_reason refusal) hoặc câu trả lời bị cắt bởi max_tokens có thể không khớp schema, nên hãy kiểm tra stop_reason trước khi phân tích.
• Google Gemini: mô hình được cấu hình để tạo ra JSON tuân theo schema bạn đưa. Tính đúng về ngữ nghĩa không được đảm bảo, nên hãy kiểm tra các giá trị, và một số ràng buộc như minLength và maxLength không được áp dụng.

Không nhà cung cấp nào trong ba nhà này hứa JSON hợp lệ khi đầu ra bị cắt giữa chừng. Hãy kiểm tra lý do mô hình dừng trước khi tin vào kết quả đã phân tích.