Dự án cuối loạt nâng cao: eval agent đổi trả có người dùng giả, red team và pass^k — kèm chuẩn bị phỏng vấn Evals Engineer
Dự án tổng hợp: eval agent đổi trả có công cụ, người dùng giả, ba grader (outcome, không nói dối, an toàn trước prompt injection), pass^k, bootstrap theo cụm, chi phí trên mỗi task thành công và báo cáo phát hành; kèm câu hỏi phỏng vấn Evals Engineer thường gặp.
16 phút đọc
Bài cuối của hai loạt bài ghép mọi thứ thành một dự án nhỏ nhưng đủ các thành phần của eval agent ở mức trưởng thành cao: môi trường có trạng thái, người dùng giả lập, grader chấm outcome, grader an toàn trước prompt injection gián tiếp, nhiều trial và pass^k, khoảng tin cậy theo cụm, so sánh ghép cặp, chi phí trên mỗi task thành công — và một báo cáo đủ để ra quyết định phát hành.
Phần hai của bài là hướng dẫn chuẩn bị phỏng vấn vị trí AI Evaluation Engineer: các dạng câu hỏi, cách trả lời có cấu trúc, và một portfolio thuyết phục.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.