Xây bộ dữ liệu đánh giá: từ trace thật, dữ liệu tổng hợp theo chiều, nhãn chuyên gia và Cohen's kappa

Grader tinh vi tới đâu cũng vô ích nếu bộ câu hỏi không giống những gì người dùng thật hỏi. Một bộ eval toàn câu "dễ, đủ thông tin, lịch sự" sẽ cho điểm 95% trong khi khách hàng thật — hỏi cụt lủn, thiếu thông tin, đang bực — gặp lỗi liên tục.

Bài này hướng dẫn xây bộ dữ liệu đánh giá (eval dataset, golden set): lấy dữ liệu từ đâu, sinh dữ liệu tổng hợp sao cho không nhàm chán và phủ đủ trường hợp, gán nhãn sao cho hai người chấm đồng ý với nhau, và quản lý bộ dữ liệu như quản lý mã nguồn.