Tuyển tập theo chủ đề
4 bài viết về Agent.
4 bài viết#AgentBỏ lọc
Bài số № 75PRO
Dự án tổng hợp: eval agent đổi trả có công cụ, người dùng giả, ba grader (outcome, không nói dối, an toàn trước prompt injection), pass^k, bootstrap theo cụm, chi phí trên mỗi task thành công và báo cáo phát hành; kèm câu hỏi phỏng vấn Evals Engineer thường gặp.
Bài số № 70PRO
Lỗi của chatbot thường chỉ lộ ra sau vài lượt. Kịch bản có persona, mục tiêu và thông tin ẩn; người dùng giả lập bằng LLM; điều kiện dừng; grader cấp hội thoại; kiểm tra người dùng giả có giống người thật không; replay tiền tố hội thoại thật.
Bài số № 69PRO
Agent gọi công cụ qua nhiều bước nên không chấm như chatbot. Môi trường có trạng thái reset mỗi trial, chấm trạng thái thật thay cho lời agent tự nhận, bắt agent nói dối, đo pass@1 và pass^k, ma trận lỗi chuyển trạng thái, eval agent có công cụ bằng Inspect.
Bài số № 66PRO
Loạt nâng cao bắt đầu ở đâu loạt cơ bản dừng lại. Thang trưởng thành của hệ thống eval, những gì thay đổi khi đánh giá agent và hội thoại nhiều lượt, các nhánh nghề (eval sản phẩm, eval năng lực, eval an toàn), danh sách bài báo nên đọc và lộ trình 10 bài.