Tư duy eval: task, trial, grader, transcript và tự viết harness đánh giá đầu tiên
Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.
13 phút đọc
Trước khi dùng framework nào, bạn cần một bộ từ vựng chung. Khi đồng nghiệp nói "bản mới tụt 4 điểm trên regression suite", bạn phải biết ngay: suite đó có bao nhiêu task, mỗi task chạy mấy lần, ai chấm, chấm cái gì.
Bài này định nghĩa các khái niệm theo cách các phòng thí nghiệm AI đang dùng năm 2026, rồi tự viết một harness — bộ khung chạy eval — để thấy mọi framework thực chất chỉ làm những việc đó.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.