Thiết kế benchmark: tính hợp lệ, bão hoà, nhiễm dữ liệu và IRT để chọn câu hỏi có giá trị
Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.
16 phút đọc
Mỗi năm có hàng trăm benchmark mới cho LLM, và phần lớn bị bỏ quên sau vài tháng: bão hoà (mô hình nào cũng gần 100%), nhiễm dữ liệu (câu hỏi lọt vào dữ liệu huấn luyện), hoặc đơn giản là đo một thứ không ai thật sự quan tâm. Một số ít trở thành chuẩn mực của ngành và định hướng cả cuộc đua phát triển mô hình.
Bài này dành cho lúc bạn cần xây một benchmark — cho cả công ty dùng, cho cộng đồng, hoặc chỉ là bộ eval năng lực sống được lâu hơn vài tháng. Ta đi qua bốn câu hỏi: benchmark có đo đúng thứ cần đo không, nó sẽ sống được bao lâu, làm sao biết điểm số không bị thổi phồng bởi nhiễm dữ liệu, và câu hỏi nào thật sự mang thông tin.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.