Grader bằng code và metric: exact match, token F1, JSON schema, kiểm tra tool call, chạy unit test và pass@k
Grader bằng code rẻ, nhanh, tất định — luôn là lựa chọn đầu tiên. Chuẩn hoá chuỗi, exact match và token F1 kiểu SQuAD, kiểm tra JSON schema, chấm lời gọi công cụ, chạy unit test cho code do mô hình sinh, ước lượng không chệch pass@k, và vì sao BLEU/ROUGE không đo được chất lượng.
15 phút đọc
Sau error analysis, bạn có một bảng phân loại lỗi. Câu hỏi tiếp theo cho từng nhóm lỗi: kiểm tra được bằng code không? Nếu được, đừng dùng LLM. Grader bằng code chạy trong mili giây, không tốn tiền, cho cùng kết quả mỗi lần chạy, và khi sai thì debug được bằng breakpoint.
Bài này xây bộ grader bằng code thường gặp nhất: so khớp câu trả lời ngắn, kiểm tra đầu ra có cấu trúc, chấm lời gọi công cụ, chạy test cho code, cùng các metric đi kèm — và chỉ ra chỗ nào code không còn đủ.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.