Bỏ qua điều hướng
EN
Tất cả bài viết

Dự án cuối loạt cơ bản: pipeline eval cho chatbot hỗ trợ khách hàng, có cổng chặn trong CI

Ghép mọi thứ đã học thành một dự án chạy được: bộ dữ liệu có regression và capability suite, grader cho từng nhóm lỗi, chạy nhiều trial, báo cáo có khoảng tin cậy Wilson và so sánh ghép cặp, cổng chặn phát hành với GitHub Actions, unit test cho chính grader và mẫu báo cáo dạng câu chuyện.

21 phút đọc

Ôn tập bài nàyPROThẻ ghi nhớ & câu hỏi ôn tập6 thẻ ghi nhớ · 5 câu trắc nghiệm

Chín bài trước cho bạn từng mảnh: khái niệm, thống kê, dữ liệu, error analysis, grader bằng code, LLM judge, RAG, công cụ. Bài cuối của loạt cơ bản ghép chúng thành một pipeline hoàn chỉnh mà bạn có thể đặt vào repo sản phẩm ngay tuần này: mỗi pull request đổi prompt hay mô hình đều được chấm tự động, và bị chặn merge nếu làm chất lượng tụt có ý nghĩa thống kê.

Dự án dùng một chatbot hỗ trợ khách hàng giả lập để chạy được không cần API key; thay một hàm là gắn vào hệ thống thật. Kết quả cuối cùng là một repo đủ tốt để đưa vào portfolio khi ứng tuyển vị trí Evals Engineer.

Bài viết PRO

Phần còn lại dành cho thành viên PRO

Nâng cấp PRO để đọc trọn bài, kèm câu hỏi luyện tập, thẻ ghi nhớ và Hỏi Victor ngay trên bài.

Bài này thế nào?

Bài viết có hữu ích với bạn?

Đánh giá giúp mình biết nên viết thêm về chủ đề nào.

Đang tải đánh giá…
Chọn số sao từ 1 đến 5

Bình luận

Đăng nhập để bình luận không cần nhập tên và được duyệt nhanh hơn.

0/2000
Đang tải bình luận…

Đọc tiếp

Bài số № 74PRO

Vận hành eval ở quy mô lớn: phân tầng suite, cache, chạy song song có thử lại, manifest phiên bản, task flaky và ngân sách

Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.

22 phút đọc

Bài số № 75PRO

Dự án cuối loạt nâng cao: eval agent đổi trả có người dùng giả, red team và pass^k — kèm chuẩn bị phỏng vấn Evals Engineer

Dự án tổng hợp: eval agent đổi trả có công cụ, người dùng giả, ba grader (outcome, không nói dối, an toàn trước prompt injection), pass^k, bootstrap theo cụm, chi phí trên mỗi task thành công và báo cáo phát hành; kèm câu hỏi phỏng vấn Evals Engineer thường gặp.

21 phút đọc

Bài số № 71PRO

Thiết kế benchmark: tính hợp lệ, bão hoà, nhiễm dữ liệu và IRT để chọn câu hỏi có giá trị

Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.

21 phút đọc