Dự án cuối loạt cơ bản: pipeline eval cho chatbot hỗ trợ khách hàng, có cổng chặn trong CI
Ghép mọi thứ đã học thành một dự án chạy được: bộ dữ liệu có regression và capability suite, grader cho từng nhóm lỗi, chạy nhiều trial, báo cáo có khoảng tin cậy Wilson và so sánh ghép cặp, cổng chặn phát hành với GitHub Actions, unit test cho chính grader và mẫu báo cáo dạng câu chuyện.
21 phút đọc
Chín bài trước cho bạn từng mảnh: khái niệm, thống kê, dữ liệu, error analysis, grader bằng code, LLM judge, RAG, công cụ. Bài cuối của loạt cơ bản ghép chúng thành một pipeline hoàn chỉnh mà bạn có thể đặt vào repo sản phẩm ngay tuần này: mỗi pull request đổi prompt hay mô hình đều được chấm tự động, và bị chặn merge nếu làm chất lượng tụt có ý nghĩa thống kê.
Dự án dùng một chatbot hỗ trợ khách hàng giả lập để chạy được không cần API key; thay một hàm là gắn vào hệ thống thật. Kết quả cuối cùng là một repo đủ tốt để đưa vào portfolio khi ứng tuyển vị trí Evals Engineer.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.