Bỏ qua điều hướng
EN
DTCode Dev ZineChủ đề

Tuyển tập theo chủ đề

#Inspect AI

2 bài viết về Inspect AI.

Danh sách bài viết

2 bài viết#Inspect AIBỏ lọc

Bài số № 69PRO

Đánh giá agent: môi trường sạch, chấm outcome, pass^k, ma trận lỗi chuyển trạng thái và eval agent bằng Inspect

Agent gọi công cụ qua nhiều bước nên không chấm như chatbot. Môi trường có trạng thái reset mỗi trial, chấm trạng thái thật thay cho lời agent tự nhận, bắt agent nói dối, đo pass@1 và pass^k, ma trận lỗi chuyển trạng thái, eval agent có công cụ bằng Inspect.

24 phút đọc

Bài số № 64PRO

Công cụ eval: viết eval bằng Inspect AI, khai báo bằng promptfoo và chọn nền tảng theo dõi

Chuyển harness tự viết sang công cụ chuẩn: Inspect AI với Sample, solver, scorer tự viết, epochs, thử bằng mô hình giả mockllm; promptfoo so sánh hai prompt bằng YAML với assertion code và llm-rubric; cách chọn Inspect, promptfoo, DeepEval, Langfuse, Braintrust.

16 phút đọc