Thống kê cho eval: sai số chuẩn, khoảng tin cậy, bootstrap và so sánh ghép cặp hai phiên bản
90% trên 40 câu có thật sự hơn 85%? Tính sai số chuẩn và khoảng tin cậy Wilson cho tỉ lệ đạt, bootstrap, cần bao nhiêu câu hỏi, chạy nhiều trial để giảm nhiễu, và so sánh hai prompt bằng phép thử ghép cặp, McNemar — tất cả bằng NumPy và SciPy.
14 phút đọc
Một tin nhắn rất hay gặp trong nhóm làm AI: "Prompt mới đạt 88%, prompt cũ 84%, mình merge nhé!" Nếu bộ eval chỉ có 50 câu, chênh lệch 4 điểm đó rất có thể chỉ là may rủi — đúng như ở bài trước, đổi seed thôi đã làm điểm nhảy 10 điểm.
Bài này trang bị đủ thống kê để trả lời câu hỏi quan trọng nhất của nghề eval: chênh lệch này có thật không? Bạn sẽ tính khoảng tin cậy, ước lượng cần bao nhiêu câu hỏi, và so sánh hai phiên bản đúng cách bằng phép thử ghép cặp — kỹ thuật mà bài báo "Adding Error Bars to Evals" của Anthropic khuyến nghị.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.