Error analysis: đọc trace, open coding, axial coding và xây bảng phân loại lỗi cho hệ thống LLM
Hoạt động có giá trị nhất trong eval là đọc dữ liệu. Quy trình error analysis từng bước: lấy mẫu trace, ghi chú lỗi đầu tiên (open coding), gom nhóm thành bảng phân loại lỗi (axial coding), đếm và ưu tiên, dừng khi bão hoà — kèm công cụ gán nhãn tối giản và phân tích bằng pandas.
13 phút đọc
Nếu chỉ được chọn một kỹ năng để học trong cả hai loạt bài, hãy chọn kỹ năng này. Hamel Husain và Shreya Shankar — hai người đã huấn luyện hàng nghìn kỹ sư và PM về evals — gọi error analysis (phân tích lỗi) là hoạt động quan trọng nhất của toàn bộ quy trình, và kể rằng trong các dự án của họ, 60–80% thời gian phát triển dành cho phân tích lỗi và đánh giá.
Lý do đơn giản: bạn không thể viết eval cho lỗi mà bạn không biết là có. Metric chung chung như "helpfulness 4,2/5" không cho biết phải sửa gì. Đọc 100 trace và đếm được "23% câu trả lời bịa phí ship" thì biết ngay việc cần làm tuần này.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.