Judge đáng tin cậy ở quy mô lớn: meta-evaluation, hội đồng judge, Bradley-Terry và chống tối ưu ngược

Ở loạt cơ bản, bạn đã kiểm chứng một judge bằng TPR/TNR trên 100–200 nhãn người. Điều đó đủ khi judge chỉ dùng để quan sát. Mọi thứ đổi khi judge bắt đầu quyết định: chặn PR, chọn prompt thắng, xếp hạng mô hình cho lãnh đạo xem. Lúc đó cả nhóm phát triển — có ý thức hay không — sẽ tối ưu hệ thống theo đúng cái judge thích. Và judge có những sở thích không liên quan đến chất lượng.

Bài này nâng judge lên mức chịu được áp lực: đo judge so với giới hạn thật của bài toán, dùng hội đồng judge đúng chỗ, xếp hạng bằng so sánh cặp với mô hình Bradley-Terry, phát hiện thiên kiến bằng thống kê, và thiết lập quy trình giám sát chính judge.