Đọc theo thứ tự
AI Evaluation Engineer nâng cao
10 phần
Phần 1
AI Evaluation Engineer nâng cao: từ eval sản phẩm tới agent, benchmark, an toàn và vận hành ở quy mô lớn
Loạt nâng cao bắt đầu ở đâu loạt cơ bản dừng lại. Thang trưởng thành của hệ thống eval, những gì thay đổi khi đánh giá agent và hội thoại nhiều lượt, các nhánh nghề (eval sản phẩm, eval năng lực, eval an toàn), danh sách bài báo nên đọc và lộ trình 10 bài.
PRO12 phút đọc#AI #Agent #Benchmark #Evaluation #Nghề nghiệpPhần 2
Thống kê nâng cao cho eval: sai số chuẩn theo cụm, phân rã phương sai, power analysis và so sánh nhiều phiên bản
Khi câu hỏi theo nhóm, mỗi câu chạy nhiều lần và bạn thử cả chục biến thể prompt, công thức sai số đơn giản không còn đúng. Sai số theo cụm, phân rã phương sai để chọn số trial, power analysis cho MDE, và kiểm soát phát hiện sai bằng Holm, Benjamini-Hochberg.
PRO20 phút đọc#AI #Evaluation #Python #Thống kêPhần 3
Judge đáng tin cậy ở quy mô lớn: meta-evaluation, hội đồng judge, Bradley-Terry và chống tối ưu ngược
Khi điểm judge quyết định phát hành, judge phải chịu được áp lực. So judge với trần đồng thuận người–người, hội đồng judge khác họ mô hình, xếp hạng phiên bản bằng Bradley-Terry có khoảng tin cậy, đo thiên kiến độ dài bằng hồi quy, chống Goodhart và trôi judge.
PRO20 phút đọc#AI #Evaluation #LLM-as-Judge #Python #Thống kêPhần 4
Đánh giá agent: môi trường sạch, chấm outcome, pass^k, ma trận lỗi chuyển trạng thái và eval agent bằng Inspect
Agent gọi công cụ qua nhiều bước nên không chấm như chatbot. Môi trường có trạng thái reset mỗi trial, chấm trạng thái thật thay cho lời agent tự nhận, bắt agent nói dối, đo pass@1 và pass^k, ma trận lỗi chuyển trạng thái, eval agent có công cụ bằng Inspect.
PRO24 phút đọc#AI #Agent #Evaluation #Inspect AI #PythonPhần 5
Đánh giá hội thoại nhiều lượt: người dùng giả lập, thông tin ẩn, điều kiện dừng và grader cấp hội thoại
Lỗi của chatbot thường chỉ lộ ra sau vài lượt. Kịch bản có persona, mục tiêu và thông tin ẩn; người dùng giả lập bằng LLM; điều kiện dừng; grader cấp hội thoại; kiểm tra người dùng giả có giống người thật không; replay tiền tố hội thoại thật.
PRO22 phút đọc#AI #Agent #CHATBOT #Evaluation #PythonPhần 6
Thiết kế benchmark: tính hợp lệ, bão hoà, nhiễm dữ liệu và IRT để chọn câu hỏi có giá trị
Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.
PRO21 phút đọc#AI #Benchmark #Evaluation #Python #Thống kêPhần 7
Red teaming và eval an toàn: mô hình mối đe doạ, prompt injection gián tiếp, tỉ lệ tấn công thành công và từ chối nhầm
Khi đầu vào là đối kháng, eval đổi bản chất. Mô hình mối đe doạ theo OWASP Top 10 cho LLM 2025, đo prompt injection gián tiếp bằng canary vô hại, cân bằng tỉ lệ tấn công thành công với từ chối nhầm, red team thủ công, tự động và bằng garak, PyRIT, promptfoo.
PRO19 phút đọc#AI #AI Safety #Bảo mật #Evaluation #Red TeamingPhần 8
Eval online: lấy mẫu trace có trọng số, tín hiệu người dùng, A/B test đúng cách và biểu đồ kiểm soát chất lượng
Bộ eval offline tốt nhất vẫn chỉ là mẫu của quá khứ. Chạy judge trên traffic thật và hiệu chỉnh trọng số, tín hiệu ngầm của người dùng, A/B test có cỡ mẫu, kiểm tra SRM và tránh bẫy nhìn trộm, biểu đồ kiểm soát phát hiện chất lượng trôi.
PRO23 phút đọc#A/B Testing #AI #Evaluation #Monitoring #Thống kêPhần 9
Vận hành eval ở quy mô lớn: phân tầng suite, cache, chạy song song có thử lại, manifest phiên bản, task flaky và ngân sách
Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.
PRO22 phút đọc#AI #CI/CD #Evaluation #MLOps #PythonPhần 10
Dự án cuối loạt nâng cao: eval agent đổi trả có người dùng giả, red team và pass^k — kèm chuẩn bị phỏng vấn Evals Engineer
Dự án tổng hợp: eval agent đổi trả có công cụ, người dùng giả, ba grader (outcome, không nói dối, an toàn trước prompt injection), pass^k, bootstrap theo cụm, chi phí trên mỗi task thành công và báo cáo phát hành; kèm câu hỏi phỏng vấn Evals Engineer thường gặp.
PRO21 phút đọc#AI #Agent #Dự án #Evaluation #Nghề nghiệp