Eval online: lấy mẫu trace có trọng số, tín hiệu người dùng, A/B test đúng cách và biểu đồ kiểm soát chất lượng
Bộ eval offline tốt nhất vẫn chỉ là mẫu của quá khứ. Chạy judge trên traffic thật và hiệu chỉnh trọng số, tín hiệu ngầm của người dùng, A/B test có cỡ mẫu, kiểm tra SRM và tránh bẫy nhìn trộm, biểu đồ kiểm soát phát hiện chất lượng trôi.
17 phút đọc
Bạn đã có pipeline eval offline chặt chẽ: bộ dữ liệu, grader đã kiểm chứng, cổng chặn CI. Bản mới qua hết, được phát hành. Hai tuần sau, tỉ lệ khách chuyển sang nhân viên tăng 15%. Chuyện gì xảy ra?
Có thể người dùng hỏi những thứ bộ eval chưa từng có. Có thể nhà cung cấp mô hình cập nhật ngầm. Có thể tài liệu chính sách vừa đổi mà kho RAG chưa cập nhật. Eval offline trả lời "bản mới có tốt hơn trên những gì ta đã biết không"; eval online trả lời "hệ thống đang chạy có ổn với người dùng thật không". Bài này dạy phần thứ hai — và cách nối hai phần thành một vòng lặp.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.