Đánh giá hội thoại nhiều lượt: người dùng giả lập, thông tin ẩn, điều kiện dừng và grader cấp hội thoại
Lỗi của chatbot thường chỉ lộ ra sau vài lượt. Kịch bản có persona, mục tiêu và thông tin ẩn; người dùng giả lập bằng LLM; điều kiện dừng; grader cấp hội thoại; kiểm tra người dùng giả có giống người thật không; replay tiền tố hội thoại thật.
17 phút đọc
Hãy tưởng tượng bộ eval gồm câu "Tôi muốn trả máy xay mua 45 ngày trước, mã đơn DH188002". Chatbot trả lời đúng: quá 30 ngày, không đổi trả được. Điểm 100%.
Người dùng thật không nhắn như vậy. Họ nhắn "bác muốn trả cái máy xay", chờ chatbot hỏi mã đơn, rồi mới đưa mã. Nếu chatbot quên hỏi ngày mua và tạo yêu cầu đổi trả luôn, lỗi chỉ xuất hiện ở lượt thứ hai — và bộ eval một lượt không bao giờ thấy. Đánh giá hội thoại nhiều lượt cần tái tạo cả cuộc trò chuyện, và cách phổ biến nhất là dùng người dùng giả lập (user simulator).
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.