Đánh giá RAG: recall@k, MRR, nDCG cho truy xuất; faithfulness, context precision/recall cho câu trả lời
Hệ thống RAG hỏng ở hai nơi: tìm sai tài liệu hoặc trả lời sai dù tài liệu đúng. Tự viết recall@k, precision@k, MRR, nDCG; so sánh hai retriever và thấy bộ câu hỏi trùng từ thổi phồng điểm thế nào; đo faithfulness bằng tách mệnh đề, các metric kiểu RAGAS và ma trận chẩn đoán lỗi.
17 phút đọc
RAG (Retrieval-Augmented Generation) là kiến trúc phổ biến nhất trong sản phẩm LLM: tìm tài liệu liên quan, đưa vào prompt, để mô hình trả lời dựa trên đó. Khi chatbot trả lời sai, câu hỏi đầu tiên luôn là: lỗi ở bước tìm, hay ở bước trả lời? Đo chung một con số "độ chính xác cuối" không trả lời được câu đó.
Bài này tách RAG thành hai phần và đánh giá riêng từng phần: truy xuất (retrieval) bằng các metric xếp hạng cổ điển, và sinh câu trả lời (generation) bằng các metric bám ngữ cảnh. Cuối bài là ma trận chẩn đoán giúp biết nên sửa chỗ nào.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.