Đánh giá agent: môi trường sạch, chấm outcome, pass^k, ma trận lỗi chuyển trạng thái và eval agent bằng Inspect
Agent gọi công cụ qua nhiều bước nên không chấm như chatbot. Môi trường có trạng thái reset mỗi trial, chấm trạng thái thật thay cho lời agent tự nhận, bắt agent nói dối, đo pass@1 và pass^k, ma trận lỗi chuyển trạng thái, eval agent có công cụ bằng Inspect.
19 phút đọc
Chatbot nhận một câu hỏi, trả một câu trả lời. Agent nhận một mục tiêu — "đặt giúp tôi lịch khám răng sáng thứ Bảy" — rồi tự quyết định gọi công cụ nào, theo thứ tự nào, bao nhiêu lần, khi nào dừng. Hai lần chạy cùng một yêu cầu có thể đi hai đường khác nhau và cùng đúng; hoặc đi đúng mọi bước rồi sai ở bước cuối.
Bài này xây eval cho agent từ nguyên lý: môi trường có trạng thái, grader chấm outcome, nhiều trial để đo độ ổn định, và ma trận lỗi để biết agent hỏng ở bước nào. Cuối bài chuyển sang Inspect, nơi các thành phần này có sẵn.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.