Thống kê nâng cao cho eval: sai số chuẩn theo cụm, phân rã phương sai, power analysis và so sánh nhiều phiên bản
Khi câu hỏi theo nhóm, mỗi câu chạy nhiều lần và bạn thử cả chục biến thể prompt, công thức sai số đơn giản không còn đúng. Sai số theo cụm, phân rã phương sai để chọn số trial, power analysis cho MDE, và kiểm soát phát hiện sai bằng Holm, Benjamini-Hochberg.
15 phút đọc
Bài thống kê của loạt cơ bản dựa trên một giả định: các câu hỏi độc lập, mỗi câu chạy một lần, so sánh đúng hai phiên bản. Eval thật hiếm khi như vậy. Bộ eval đọc hiểu có 6 câu hỏi cho mỗi văn bản; agent chạy 8 trial mỗi task; nhóm sản phẩm thử 12 biến thể prompt rồi chọn bản tốt nhất. Mỗi điều đó phá một giả định — và nếu không xử lý, khoảng tin cậy của bạn hẹp hơn thực tế, quyết định của bạn tự tin quá mức.
Bài này đi theo cấu trúc của bài báo "Adding Error Bars to Evals" (Evan Miller, Anthropic, 2024), kèm mô phỏng để bạn tự thấy từng vấn đề.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.