Vận hành eval ở quy mô lớn: phân tầng suite, cache, chạy song song có thử lại, manifest phiên bản, task flaky và ngân sách
Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.
17 phút đọc
Ở loạt cơ bản, một lần chạy eval là 60 câu × 5 trial, vài phút, vài cent. Ở công ty đã có eval trưởng thành, con số có thể là 3.000 task, 5 trial, 3 judge, 4 mô hình ứng viên — chạy mỗi đêm. Một lần chạy mất vài giờ và vài trăm đô la. Khi đó những câu hỏi "nhỏ" trở thành vấn đề lớn: lỗi 429 làm hỏng một nửa lần chạy, sửa một dòng grader phải trả tiền sinh lại toàn bộ câu trả lời, không ai nhớ con số tháng trước được đo với phiên bản judge nào, và 10% task cứ lúc đạt lúc trượt làm CI đỏ vô cớ.
Bài này là phần "kỹ thuật hạ tầng" của nghề eval: các mẫu thiết kế giúp eval nhanh, rẻ, tái lập được và đáng tin khi lớn lên.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.