Bài số № 61PRO
Grader bằng code và metric: exact match, token F1, JSON schema, kiểm tra tool call, chạy unit test và pass@k
Grader bằng code rẻ, nhanh, tất định — luôn là lựa chọn đầu tiên. Chuẩn hoá chuỗi, exact match và token F1 kiểu SQuAD, kiểm tra JSON schema, chấm lời gọi công cụ, chạy unit test cho code do mô hình sinh, ước lượng không chệch pass@k, và vì sao BLEU/ROUGE không đo được chất lượng.
20 phút đọc