Bỏ qua điều hướng
EN
Tất cả bài viết

Tư duy eval: task, trial, grader, transcript và tự viết harness đánh giá đầu tiên

Các khái niệm nền của evals cho LLM: task, trial, grader, transcript, outcome, harness; eval năng lực và eval hồi quy; offline và online; nhãn nhị phân thay cho thang 1–5. Tự viết một harness eval khoảng 80 dòng Python, chạy nhiều lần mỗi task.

13 phút đọc

Ôn tập bài nàyPROThẻ ghi nhớ & câu hỏi ôn tập7 thẻ ghi nhớ · 6 câu trắc nghiệm

Trước khi dùng framework nào, bạn cần một bộ từ vựng chung. Khi đồng nghiệp nói "bản mới tụt 4 điểm trên regression suite", bạn phải biết ngay: suite đó có bao nhiêu task, mỗi task chạy mấy lần, ai chấm, chấm cái gì.

Bài này định nghĩa các khái niệm theo cách các phòng thí nghiệm AI đang dùng năm 2026, rồi tự viết một harness — bộ khung chạy eval — để thấy mọi framework thực chất chỉ làm những việc đó.

Bài viết PRO

Phần còn lại dành cho thành viên PRO

Nâng cấp PRO để đọc trọn bài, kèm câu hỏi luyện tập, thẻ ghi nhớ và Hỏi Victor ngay trên bài.

Bài này thế nào?

Bài viết có hữu ích với bạn?

Đánh giá giúp mình biết nên viết thêm về chủ đề nào.

Đang tải đánh giá…
Chọn số sao từ 1 đến 5

Bình luận

Đăng nhập để bình luận không cần nhập tên và được duyệt nhanh hơn.

0/2000
Đang tải bình luận…

Đọc tiếp

Bài số № 74PRO

Vận hành eval ở quy mô lớn: phân tầng suite, cache, chạy song song có thử lại, manifest phiên bản, task flaky và ngân sách

Khi bộ eval có hàng nghìn task chạy mỗi đêm, eval trở thành hạ tầng. Phân tầng smoke/regression/full, runner có cache, giới hạn đồng thời và thử lại, manifest phiên bản để tái lập, xử lý task flaky, ước lượng ngân sách và tổ chức quyền sở hữu eval.

22 phút đọc

Bài số № 71PRO

Thiết kế benchmark: tính hợp lệ, bão hoà, nhiễm dữ liệu và IRT để chọn câu hỏi có giá trị

Một bộ dữ liệu nội bộ khác một benchmark nhiều người dùng. Construct validity, bão hoà và vòng đời benchmark, phát hiện nhiễm dữ liệu bằng trùng n-gram và câu diễn đạt lại, canary string, mô hình Rasch để ước lượng độ khó và chọn tập con giữ đúng thứ hạng.

21 phút đọc

Bài số № 70PRO

Đánh giá hội thoại nhiều lượt: người dùng giả lập, thông tin ẩn, điều kiện dừng và grader cấp hội thoại

Lỗi của chatbot thường chỉ lộ ra sau vài lượt. Kịch bản có persona, mục tiêu và thông tin ẩn; người dùng giả lập bằng LLM; điều kiện dừng; grader cấp hội thoại; kiểm tra người dùng giả có giống người thật không; replay tiền tố hội thoại thật.

22 phút đọc