LLM-as-a-judge: viết judge chấm một lỗi, đo TPR/TNR so với người và hiệu chỉnh tỉ lệ đạt
Khi code không chấm được, dùng LLM chấm LLM — nhưng chỉ sau khi kiểm chứng. Thiết kế judge nhị phân cho đúng một nhóm lỗi, prompt có định nghĩa và ví dụ, structured output; chia nhãn train/dev/test, đo TPR và TNR, chống thiên kiến vị trí và độ dài, hiệu chỉnh tỉ lệ đạt kèm khoảng tin cậy.
17 phút đọc
Một số lỗi không chấm được bằng code: "câu trả lời có bịa chính sách không", "có hỏi lại khi thiếu thông tin không", "có đồng cảm với khách đang bực không". Người chấm làm được, nhưng không thể đọc 5.000 hội thoại mỗi tuần. Giải pháp phổ biến nhất năm 2026 là LLM-as-a-judge: dùng một mô hình ngôn ngữ để chấm đầu ra của hệ thống.
Judge mạnh nhưng nguy hiểm: nó luôn trả lời tự tin, kể cả khi sai. Một judge chưa kiểm chứng giống một chiếc cân chưa hiệu chuẩn — có số, nhưng không biết số đó đúng không. Bài này dạy cả hai nửa: viết judge tốt, và chứng minh judge đáng tin trước khi dùng con số của nó.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.