Công cụ eval: viết eval bằng Inspect AI, khai báo bằng promptfoo và chọn nền tảng theo dõi
Chuyển harness tự viết sang công cụ chuẩn: Inspect AI với Sample, solver, scorer tự viết, epochs, thử bằng mô hình giả mockllm; promptfoo so sánh hai prompt bằng YAML với assertion code và llm-rubric; cách chọn Inspect, promptfoo, DeepEval, Langfuse, Braintrust.
12 phút đọc
Harness tự viết ở bài 2 dạy bạn bản chất, nhưng dùng lâu sẽ phải tự làm thêm rất nhiều thứ: chạy song song có giới hạn tốc độ, thử lại khi API lỗi, lưu log có cấu trúc, giao diện xem transcript, chạy nhiều mô hình, cache kết quả. Các công cụ eval đã làm sẵn những việc đó.
Bài này thực hành hai công cụ mã nguồn mở bổ sung cho nhau: Inspect AI — framework Python mạnh, hợp với eval phức tạp và agent; và promptfoo — khai báo bằng YAML, hợp để so sánh prompt nhanh và chạy trong CI. Cuối bài là bảng giúp chọn công cụ cho nhóm của bạn.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.